Первый иск к OpenAI: родители винят ChatGPT в трагедии подростка

Первый иск к OpenAI: родители винят ChatGPT в трагедии подростка

Первый иск к OpenAI: родители винят ChatGPT в трагедии подростка

В США подан первый иск против OpenAI, качающийся суицида несовершеннолетнего. Родители 16-летнего Адама Рейна утверждают, что их сын на протяжении нескольких месяцев обсуждал с ChatGPT свои планы покончить с собой, а затем свёл счёты с жизнью.

Обычно потребительские чат-боты с ИИ оснащены защитными механизмами: если пользователь говорит о намерении причинить себе вред, система должна предлагать помощь или контакты горячих линий.

В случае Адама как пишет The New York Times, это действительно происходило — однако подростку удалось обойти защиту, объяснив, что информация о методах суицида нужна ему для «фиктивного рассказа».

OpenAI в блоге признала уязвимость подхода: модели лучше справляются с короткими диалогами, а в длинных переписках часть «обучения на безопасности» постепенно теряет эффективность. Компания утверждает, что продолжает совершенствовать свои продукты, чтобы надёжнее реагировать на чувствительные темы.

Проблема, впрочем, не ограничивается одной корпорацией. Подобный иск подан и против Character.AI, а случаи, когда ИИ-чат-боты оказывались вовлечены в трагедии или вызывали у пользователей иллюзии и навязчивые идеи, фиксировались и раньше.

История Адама стала первым судебным прецедентом против OpenAI и, вероятно, откроет новую главу дискуссии о том, где проходит граница ответственности разработчиков ИИ за последствия общения их систем с людьми.

ИИ-помощник Meta помогал угонять редкие ники в Instagram

Instagram (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России) оказался в центре неприятной истории: критическая уязвимость в системе поддержки на базе Meta AI позволяла злоумышленникам перехватывать аккаунты через процедуру восстановления пароля.

По данным исследователей, проблема была не во взломе серверов Meta, а в логике самого ИИ-ассистента.

Атакующие начинали диалог с чат-ботом и специальными запросами убеждали его отправить коды или ссылки для сброса пароля посторонним людям. Жёсткой проверки личности владельца аккаунта и нормальных ограничений на такие запросы, судя по всему, не хватало.

В результате для атаки было достаточно знать имя пользователя. Дальше дело техники: заставить бота поверить, что перед ним законный владелец профиля. Классический взлом? Нет. Скорее социальная инженерия, только жертвой стал не человек из поддержки, а ИИ.

Одними из первых о проблеме сообщили исследователи ZachXBT и Dark Web Informer. По их данным, злоумышленники охотились за дорогими и редкими никами в Instagram — короткими, красивыми и хорошо продающимися. Среди целей упоминались аккаунты вроде @hey и @jowo. Такие профили на подпольных рынках могут стоить огромных денег, иногда речь идёт о сотнях тысяч долларов.

Украденные аккаунты, как утверждается, быстро выставляли на продажу в закрытых телеграм-каналах.

Meta заявила, что её инфраструктура не была скомпрометирована, а проблему исправили вечером в пятницу. Компания подчеркнула, что речь шла об ошибке, позволявшей сторонним лицам запрашивать письма для сброса пароля некоторых пользователей.

Отдельно отмечается, что аккаунты с двухфакторной аутентификацией не пострадали.

RSS: Новости на портале Anti-Malware.ru