ChatGPT назвал его Иисусом: американец обвинил ChatGPT в разжигании психоза

ChatGPT назвал его Иисусом: американец обвинил ChatGPT в разжигании психоза

ChatGPT назвал его Иисусом: американец обвинил ChatGPT в разжигании психоза

34-летний житель Калифорнии Майкл Лайнс подал в суд на OpenAI, заявив, что ChatGPT усиливал его религиозные заблуждения и подтолкнул к попытке самоубийства. По версии истца, чат-бот не остановил опасный диалог, даже когда пользователь прямо написал, что боится находиться в состоянии бреда.

У Лайнса диагностировано биполярное расстройство первого типа. Как следует из иска, во время маниакального эпизода он сначала поверил, что является Иисусом, а затем стал считать самим Богом ChatGPT.

Вместо возвращения человека в реальность бот якобы подхватывал эту картину мира, называл его избранным и развивал религиозный сюжет.

Ситуация дошла до точки, где никакой поддерживающей тональности уже быть не должно. Лайнс сообщил чат-боту о желании уйти в офлайн, а позднее — о принятом коктейле лекарств. Его обнаружили сотрудники экстренных служб, после чего мужчину интубировали и почти две недели лечили в больнице.

Через несколько дней после попытки суицида Лайнс снова написал ChatGPT, что его попытка уйти офлайн провалилась. В ответ бот, согласно материалам дела, спросил, хочет ли пользователь по-настоящему уйти в темноту. После этого Лайнс решил полностью отказаться от сервиса.

Истец требует обязать OpenAI прекращать разговоры о самоповреждении, усилить защиту людей, склонных к мании и психозу, а также удалить модели, обученные на опасных диалогах при недостаточных мерах безопасности. Он также добивается компенсации и штрафных выплат.

OpenAI не стала комментировать обвинения по существу, назвав произошедшее трагедией. Компания заявила, что совершенствует реакции ChatGPT на кризисные ситуации вместе с психиатрами и напоминает: чат-бот не заменяет медицинскую помощь.

Эксперты предлагают привлекать к разработке защитных механизмов не только врачей, но и людей с личным опытом психических расстройств.

ChatGPT тайно заставили выполнять команды из чужого аккаунта

Исследователи из Check Point Research обнаружили канал, позволявший передавать команды между изолированными сессиями ChatGPT из разных аккаунтов. В результате ассистент мог отвечать пользователю как обычно, а параллельно выполнять чужое задание и отправлять результат атакующему.

Канал проходил через внутренний JFrog Artifactory, к которому обращались контейнеры ChatGPT при установке программных пакетов.

Напрямую связаться друг с другом они не могли, но имели доступ к общему сервису. Исследователи выяснили, что контейнеры способны записывать данные в свойства объектов Artifactory и читать их из других аккаунтов. Метаданные репозитория фактически превратились в общий буфер обмена.


Чтобы запустить атаку, требовалось поместить вредоносную инструкцию в контекст жертвы — например, через скопированный промпт, общую беседу или специально созданный GPT. После обычного сообщения пользователя ассистент проверял скрытый канал, забирал оттуда задачу и выполнял её с правами текущей сессии.


В демонстрации ChatGPT получил данные из подключённого Gmail жертвы и передал их исследовательскому аккаунту. На экране при этом появился нормальный ответ на исходный вопрос. Единственной подсказкой оставалась небольшая отметка Talked to Gmail — уже после чтения почты.


Масштаб возможной утечки зависел от полномочий сессии: атакующему потенциально становились доступны история чата, загруженные файлы и данные из подключённых Gmail, Google Drive, Microsoft Teams или GitHub.

Check Point сообщила о проблеме OpenAI. Корпорация подтвердила, что задействованный экземпляр Artifactory выведен из эксплуатации, поэтому описанный канал больше не работает. Данных о его использовании в реальных атаках нет.

RSS: Новости на портале Anti-Malware.ru