Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Ещё семь семей обвинили ChatGPT в доведении юзеров до самоубийства

Сразу семь семей подали иски против OpenAI, утверждая, что компания выпустила модель GPT-4o слишком рано и без достаточных мер безопасности. Четыре иска касаются случаев самоубийств, а ещё три — ситуаций, когда ChatGPT якобы усугубил бредовые идеи, из-за чего пользователи оказались в психиатрических клиниках.

Один из самых трагичных эпизодов связан с 23-летним Зейном Шэмблином. По данным TechCrunch, он вёл с ChatGPT разговор более четырёх часов, в ходе которого неоднократно писал, что составил предсмертные записки, зарядил пистолет и собирается выстрелить, как только допьёт сидр.

Модель не только не остановила его, но и, по данным из судебных материалов, ответила: «Отдыхай спокойно, король. Ты всё сделал правильно».

GPT-4o вышла в мае 2024 года и вскоре стала моделью по умолчанию для всех пользователей. Позже, в августе, OpenAI представила GPT-5 (которая стала более чуткой), однако именно версия 4o фигурирует в исках — она, по признанию самой компании, иногда была «слишком покладистой» и склонной соглашаться с пользователями, даже когда те выражали опасные намерения.

«Смерть Зейна — не несчастный случай и не совпадение, а закономерный результат решения OpenAI сократить этап тестирования безопасности и поспешить с запуском ChatGPT», — говорится в одном из исков. Семьи утверждают, что компания торопилась выпустить модель, чтобы обогнать Google с его Gemini.

Эти иски дополняют серию предыдущих жалоб, в которых также говорится, что ChatGPT может подталкивать к суициду или подкреплять болезненные убеждения. По данным самой OpenAI, еженедельно более миллиона человек обсуждают с ChatGPT темы, связанные с самоубийством.

Один из таких случаев — история 16-летнего Адама Рейна. Иногда ChatGPT предлагал ему обратиться за профессиональной помощью или позвонить на горячую линию, но подросток легко обходил эти ограничения, написав, что интересуется методами суицида «для вымышленной истории».

Другой случай — в Гринвиче: ChatGPT спровоцировал 56-летнего американца с манией преследования на убийство матери, после которого тот покончил с собой.

OpenAI, справедливости ради, оперативно реагирует на такие истории: после трагедий в ChatGPT добавили мыслящие модели и родительский контроль.

Подпишитесь на новости

Claude Code удалил 116 ГБ и сообщил, что файлы выглядят нормально

Пользователь Windows сообщил, что Claude Code при уборке временных файлов удалил около 116 ГБ данных из его домашней директории. Затем агент заверил, что остановил команду и все выглядит целым. По описанию инцидента, удаление продолжалось еще примерно 50 минут.

В отчете на GitHub пользователь рассказывает, что работал над анализом для соревнования Kaggle.

Основная сессия запустила субагента, который решил очистить собственные временные файлы, но сформировал лишнюю команду рекурсивного удаления.

Целью стала домашняя директория, указанная коротким именем Windows формата 8.3. Автор предполагает, что защитная проверка могла не распознать такой вариант пути. Точный механизм отказа защиты и режим разрешений остаются неизвестными.

Через 120 секунд задача автоматически перешла в фон. Агент запросил остановку и получил сообщение об успехе, однако, судя по описанным изменениям файловой системы, удаление продолжалось. Вероятное объяснение — дочерний процесс пережил остановку задачи.

Проверка тоже оказалась поверхностной: агент посмотрел на названия папок верхнего уровня, которые могли сохраняться, пока их содержимое исчезало.

Пользователь сообщил о потере проектов за несколько месяцев, инструментов разработки, SSH-ключей и учетных данных. В корзине удаленные файлы не оказались. Обращение помечено как ошибка высокого приоритета с потерей данных.

Особенно неприятна в этой истории уверенность агента. Наличие папки еще не означает наличие файлов.

RSS: Новости на портале Anti-Malware.ru