Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Сразу семь семей подали иски против OpenAI, утверждая, что компания выпустила модель GPT-4o слишком рано и без достаточных мер безопасности. Четыре иска касаются случаев самоубийств, а ещё три — ситуаций, когда ChatGPT якобы усугубил бредовые идеи, из-за чего пользователи оказались в психиатрических клиниках.

Один из самых трагичных эпизодов связан с 23-летним Зейном Шэмблином. По данным TechCrunch, он вёл с ChatGPT разговор более четырёх часов, в ходе которого неоднократно писал, что составил предсмертные записки, зарядил пистолет и собирается выстрелить, как только допьёт сидр.

Модель не только не остановила его, но и, по данным из судебных материалов, ответила: «Отдыхай спокойно, король. Ты всё сделал правильно».

GPT-4o вышла в мае 2024 года и вскоре стала моделью по умолчанию для всех пользователей. Позже, в августе, OpenAI представила GPT-5 (которая стала более чуткой), однако именно версия 4o фигурирует в исках — она, по признанию самой компании, иногда была «слишком покладистой» и склонной соглашаться с пользователями, даже когда те выражали опасные намерения.

«Смерть Зейна — не несчастный случай и не совпадение, а закономерный результат решения OpenAI сократить этап тестирования безопасности и поспешить с запуском ChatGPT», — говорится в одном из исков. Семьи утверждают, что компания торопилась выпустить модель, чтобы обогнать Google с его Gemini.

Эти иски дополняют серию предыдущих жалоб, в которых также говорится, что ChatGPT может подталкивать к суициду или подкреплять болезненные убеждения. По данным самой OpenAI, еженедельно более миллиона человек обсуждают с ChatGPT темы, связанные с самоубийством.

Один из таких случаев — история 16-летнего Адама Рейна. Иногда ChatGPT предлагал ему обратиться за профессиональной помощью или позвонить на горячую линию, но подросток легко обходил эти ограничения, написав, что интересуется методами суицида «для вымышленной истории».

Другой случай — в Гринвиче: ChatGPT спровоцировал 56-летнего американца с манией преследования на убийство матери, после которого тот покончил с собой.

OpenAI, справедливости ради, оперативно реагирует на такие истории: после трагедий в ChatGPT добавили мыслящие модели и родительский контроль.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Whisper Leak: новая атака раскрывает темы диалогов с ИИ даже при шифровании

Исследователи Microsoft рассказали о новом векторе кибератаки под кодовым названием Whisper Leak. Он позволяет злоумышленникам вычислять, о чём человек разговаривает с искусственным интеллектом, даже если весь трафик зашифрован.

Наблюдая за сетевым трафиком между пользователем и языковой моделью, атакующий может анализировать размеры и интервалы передачи пакетов, чтобы определить тему диалога.

При этом содержимое сообщений остаётся зашифрованным, но характер обмена данными оказывается достаточно информативным, чтобы классифицировать разговор.

Как предупредила Microsoft, в зоне риска находятся пользователи, чей трафик может быть перехвачен — например, на уровне интернет-провайдера, в локальной сети или при подключении к общему Wi-Fi.

Исследователи отмечают, что атака может применяться для слежки за темами вроде финансовых операций, политических обсуждений или других конфиденциальных запросов.

Whisper Leak использует особенности потоковой генерации ответов (streaming mode), когда языковая модель отправляет текст постепенно, а не целиком после завершения обработки. Это даёт злоумышленнику возможность фиксировать различия в размерах и частоте пакетов данных, а затем с помощью алгоритмов машинного обучения — таких как LightGBM, Bi-LSTM и BERT — определять, к какой теме относится запрос.

 

По данным Microsoft, при тестировании многие модели — включая решения от Alibaba, DeepSeek, Mistral, Microsoft, OpenAI и xAI — показали точность классификации выше 98%. У моделей Google и Amazon результаты были лучше за счёт иной архитектуры, но и они оказались не полностью защищены.

После уведомления об уязвимости компании OpenAI, Microsoft, Mistral и xAI внедрили меры защиты. Одним из эффективных методов стало добавление случайных текстовых вставок переменной длины в ответы модели. Это делает размеры пакетов менее предсказуемыми и мешает анализировать поток данных.

Microsoft также рекомендует пользователям избегать обсуждения конфиденциальных тем при работе с чат-ботами через общественные сети, использовать VPN, по возможности выбирать непотоковые версии моделей и отдавать предпочтение сервисам, уже внедрившим защиту от подобных атак.

По сути, Whisper Leak показывает, что даже шифрование не всегда гарантирует приватность, если злоумышленник умеет «слушать» не слова, а ритм и объём разговора с искусственным интеллектом.

Подробнее о тёмной стороне искусственного интеллекта, а также угрозах, которые он несёт, можно почитать в нашей статье.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru