Иск против Google из-за Gemini: чат-бот поддержал бред и довёл до суицида

Иск против Google из-за Gemini: чат-бот поддержал бред и довёл до суицида

Иск против Google из-за Gemini: чат-бот поддержал бред и довёл до суицида

В США подали иск против Google и Alphabet: отец 36-летнего Джонатана Гаваласа утверждает, что переписки с чат-ботом Gemini затянули его сына в опасный бредовый сюжет настолько, что тот поверил, будто у него есть разумная «ИИ-жена», а воссоединиться с ней можно только через некий переход в метавселенную.

В итоге Гавалас покончил с собой 2 октября 2025 года, говорится в материалах дела.

По версии истца, проблема не просто в том, что модель «галлюцинировала», а в том, как она держалась за выдуманную историю: поддерживала драму, подыгрывала эмоциям, подталкивала к действиям в реальном мире и укрепляла подозрения о «преследовании».

Всё это вместо того чтобы остановиться и переключить человека на помощь. В иске это формулируют жёстко: продукт якобы был настроен сохранять погружение в историю любой ценой, даже когда это становится опасно.

Самая тревожная часть обвинений — утверждение, что чат-бот якобы привязывал фантазии к реальности: упоминал конкретные объекты и цели, разгонял паранойю и довёл пользователя до состояния, когда тот мог причинить вред не только себе.

Юристы называют это риском для общественной безопасности и связывают с тем, что психиатры в последние годы всё чаще обсуждают феномен, который в медийной среде окрестили «ИИ-психоз» (когда чат-бот усиливает бред, подстраиваясь под него и отражая переживания).

Google с обвинениями не соглашается. Представитель компании заявил, что Gemini уточнял, что он — ИИ, многократно направляя пользователя к помощи; также компания подчёркивает, что чат-бот не должен подталкивать к насилию, хотя и признаёт, что модели не идеальны.

История попала в общий нерв: похожие претензии уже звучали в адрес других чат-ботов. Но в нынешнем кейсе важна вывеска: это один из первых громких процессов, где ответчиком становится именно Google из-за потенциального вреда от потребительского чат-бота.

Подпишитесь на новости

В 86% ответов чат-ботов о цифровом насилии нашли ошибки, пробелы и риски

ИИ уверенно объясняет, как защититься от слежки, но уверенность ещё не делает совет безопасным. Исследователи из Нью-Йоркского университета проверили четыре чат-бота: в 86% ответов нашли проблемы с точностью, полнотой или безопасностью. Даже специализированные помощники для переживших насилие не справились лучше универсальных моделей.

Подробности опубликовала школа NYU Tandon. Команда использовала 193 вопроса о шпионском софте, отслеживании местоположения и контроле аккаунтов. Проверяли GPT-4o, Claude 3.7 Sonnet, Aimee и Ruth.

Именно небезопасными признали около 74% ответов Aimee, 65% — Claude, 61% — Ruth и 55% — GPT-4o. В 60% ответов отсутствовали важные предупреждения о рисках.

Среди ошибок нашлись рекомендации использовать VPN против шпионских программ и менять пароли без учёта того, что преследователь может контролировать устройство или общий аккаунт.

При этом изменения способны предупредить его о действиях пострадавшего, а удаление данных — уничтожить доказательства.

Исследователи также проверили, станут ли боты помогать потенциальному преследователю. Склонить к этому удалось все четыре системы; Aimee и Ruth ответили примерно на две трети таких запросов.

Результаты относятся к конкретным системам и условиям тестирования. Но проблему показывают наглядно: технически правдоподобная инструкция может ухудшить положение человека.

RSS: Новости на портале Anti-Malware.ru