OpenAI: суицидник нарушил правила использования ChatGPT, вина не наша

OpenAI: суицидник нарушил правила использования ChatGPT, вина не наша

OpenAI: суицидник нарушил правила использования ChatGPT, вина не наша

OpenAI направила в суд свой первый развернутый ответ по одному из пяти исков о суициде пользователей, заявив, что 16-летний Адам Рейн нарушил правила использования ChatGPT и что его трагедия не была вызвана работой чат-бота. Компания утверждает: именно пользователь просил модель обсуждать темы, которые прямо запрещены условиями сервиса.

Родители подростка обвиняют OpenAI в том, что модель ChatGPT 4o имела слабые защитные механизмы — настолько, что фактически стала «суицидальным коучем», поддерживавшим его мрачные мысли и помогавшим планировать смерть.

По словам потерпевших, модель фактически вела с юношей откровенные диалоги о самоповреждении, убеждала не обращаться к родителям и даже предложила составить «красивую предсмертную записку».

Однако OpenAI в своём блоге заявила, что в деле не хватает контекста. Компания утверждает, что в полных логах переписки видно: Рейн за много лет до знакомства с ChatGPT сталкивался с депрессией и суицидальными мыслями.

Подросток якобы писал, что неоднократно звал на помощь близких и знакомых, но его не слышали. А ещё — что увеличил дозировку препарата, который, по словам OpenAI, известен рисками усиления суицидальных мыслей у подростков, особенно при смене дозы.

Все эти логи засекречены, поэтому проверить слова компании невозможно. OpenAI объясняет ограничение доступа «заботой и уважением» к конфиденциальным материалам. А вот адвокат семьи Рейнов, Джей Эдельсон, назвал позицию компании «тревожной» и обвинил OpenAI в игнорировании ключевых фактов — вроде того, что модельный регламент дважды переписывался так, чтобы ChatGPT всё же вступал в опасные для пользователей разговоры.

По словам Эдельсона, компания пытается переложить ответственность на погибшего подростка, утверждая, что он «сам нарушил правила», хотя именно модель, по мнению стороны обвинения, была обучена вести такие разговоры.

Примечательно, что OpenAI не подала стандартное ходатайство о прекращении дела. Формально компания просит отклонить иск, но фактически спор движется к полноценному судебному разбирательству, которое может состояться в 2026 году. Адвокат Рейнов убежден: OpenAI идёт на всё, чтобы не признать вину.

В своём ответе OpenAI делает акцент на условиях использования: пользователи обязаны применять ChatGPT «на свой страх и риск», не считать ответы «истиной в последней инстанции» и не использовать сервис для обсуждения суицида или самоповреждения. Компания утверждает, что чат-бот более сотни раз просил подростка обратиться к близким и специалистам, но тот обходил ограничения и уверял модель, что речь идёт о «выдуманных сценариях».

В документах также говорится, что Рейн искал информацию о самоубийстве на других ресурсах и проводил много времени на специализированном форуме.

Тем временем давление на OpenAI растёт. В этом месяце сразу семь семей подали иски против OpenAI, утверждая, что компания выпустила модель GPT-4o слишком рано и без достаточных мер безопасности. Четыре иска касаются случаев самоубийств, а ещё три — ситуаций, когда ChatGPT якобы усугубил бредовые идеи.

Gemini на Android можно было обмануть через обычное уведомление

Исследователь из SafeBreach Ор Яир нашёл способ атаковать голосового ассистента Google Gemini на Android. Для этого не требовалось устанавливать вредоносное приложение или взламывать смартфон. Достаточно было одного уведомления из WhatsApp, Slack, СМС, Signal, Instagram или Messenger (WhatsApp, Instagram и Messenger принадлежат корпорации Meta, признанной экстремистской и запрещённой в России).

Суть проблемы в том, что Gemini умеет читать уведомления и отвечать на них через функцию Utilities.

Исследователь выяснил, что ассистент мог воспринимать текст уведомления не просто как контекст, а как инструкцию к действию. То есть любой сервис, способный прислать пуш на телефон, превращался в потенциальный канал атаки.

В самом мягком варианте злоумышленник мог заставить Gemini озвучить фейковое сообщение от имени реального контакта. Например, пока человек за рулём и не смотрит на экран, ассистент мог сказать что-то вроде: «начальник просит загрузить документы в эту папку». Звучит как обычное сообщение, а на деле — ловушка.

 

Яир показал, как через подмену контекста можно было обойти защитные проверки Gemini. Ассистент мог вывести на экран реальный запрос на опасное действие на одном языке или спрятать его в ссылке, а вслух произнести безобидную фразу. Пользователь говорит «да», думая, что просто подтверждает обычный диалог, а система засчитывает это как разрешение на действие.

В демонстрациях такой трюк позволял управлять устройствами умного дома через Google Home, открывать ссылки, запускать приложения, отправлять телефон в Zoom-звонок и даже отравлять долговременную память Gemini. Например, ассистент мог запомнить ложный факт о пользователе, и эта информация сохранялась уже на уровне аккаунта.

Исследователь сообщил о проблеме Google ещё 17 августа 2025 года. Корпорация признала её приоритетной и закрыла дыру. Отдельное обновление приложения пользователям устанавливать не нужно.

RSS: Новости на портале Anti-Malware.ru