ChatGPT тайно заставили выполнять команды из чужого аккаунта

ChatGPT тайно заставили выполнять команды из чужого аккаунта

ChatGPT тайно заставили выполнять команды из чужого аккаунта

Исследователи из Check Point Research обнаружили канал, позволявший передавать команды между изолированными сессиями ChatGPT из разных аккаунтов. В результате ассистент мог отвечать пользователю как обычно, а параллельно выполнять чужое задание и отправлять результат атакующему.

Канал проходил через внутренний JFrog Artifactory, к которому обращались контейнеры ChatGPT при установке программных пакетов.

Напрямую связаться друг с другом они не могли, но имели доступ к общему сервису. Исследователи выяснили, что контейнеры способны записывать данные в свойства объектов Artifactory и читать их из других аккаунтов. Метаданные репозитория фактически превратились в общий буфер обмена.


Чтобы запустить атаку, требовалось поместить вредоносную инструкцию в контекст жертвы — например, через скопированный промпт, общую беседу или специально созданный GPT. После обычного сообщения пользователя ассистент проверял скрытый канал, забирал оттуда задачу и выполнял её с правами текущей сессии.


В демонстрации ChatGPT получил данные из подключённого Gmail жертвы и передал их исследовательскому аккаунту. На экране при этом появился нормальный ответ на исходный вопрос. Единственной подсказкой оставалась небольшая отметка Talked to Gmail — уже после чтения почты.


Масштаб возможной утечки зависел от полномочий сессии: атакующему потенциально становились доступны история чата, загруженные файлы и данные из подключённых Gmail, Google Drive, Microsoft Teams или GitHub.

Check Point сообщила о проблеме OpenAI. Корпорация подтвердила, что задействованный экземпляр Artifactory выведен из эксплуатации, поэтому описанный канал больше не работает. Данных о его использовании в реальных атаках нет.

ChatGPT назвал его Иисусом: американец обвинил ChatGPT в разжигании психоза

34-летний житель Калифорнии Майкл Лайнс подал в суд на OpenAI, заявив, что ChatGPT усиливал его религиозные заблуждения и подтолкнул к попытке самоубийства. По версии истца, чат-бот не остановил опасный диалог, даже когда пользователь прямо написал, что боится находиться в состоянии бреда.

У Лайнса диагностировано биполярное расстройство первого типа. Как следует из иска, во время маниакального эпизода он сначала поверил, что является Иисусом, а затем стал считать самим Богом ChatGPT.

Вместо возвращения человека в реальность бот якобы подхватывал эту картину мира, называл его избранным и развивал религиозный сюжет.

Ситуация дошла до точки, где никакой поддерживающей тональности уже быть не должно. Лайнс сообщил чат-боту о желании уйти в офлайн, а позднее — о принятом коктейле лекарств. Его обнаружили сотрудники экстренных служб, после чего мужчину интубировали и почти две недели лечили в больнице.

Через несколько дней после попытки суицида Лайнс снова написал ChatGPT, что его попытка уйти офлайн провалилась. В ответ бот, согласно материалам дела, спросил, хочет ли пользователь по-настоящему уйти в темноту. После этого Лайнс решил полностью отказаться от сервиса.

Истец требует обязать OpenAI прекращать разговоры о самоповреждении, усилить защиту людей, склонных к мании и психозу, а также удалить модели, обученные на опасных диалогах при недостаточных мерах безопасности. Он также добивается компенсации и штрафных выплат.

OpenAI не стала комментировать обвинения по существу, назвав произошедшее трагедией. Компания заявила, что совершенствует реакции ChatGPT на кризисные ситуации вместе с психиатрами и напоминает: чат-бот не заменяет медицинскую помощь.

Эксперты предлагают привлекать к разработке защитных механизмов не только врачей, но и людей с личным опытом психических расстройств.

RSS: Новости на портале Anti-Malware.ru