ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

ИИ чуть не отправил американский спецназ на китайский корабль

Американские военные едва не перехватили китайское судно на Ближнем Востоке из-за разведывательного отчёта, собранного при помощи ИИ. Чат-бот неверно определил груз, а аналитик упаковал его выводы в официальный документ, которому начали доверять как обычной разведке.

Как сообщает CNN, весной 2026 года аналитик командования специальных операций запросил у неустановленного чат-бота сведения о грузе китайского судна.

Система объединила открытые данные с секретной радиоэлектронной разведкой и заявила, что корабль перевозит компоненты для ядерной оружейной программы.

Затем аналитик снова использовал ИИ, но уже для оформления выводов в стандартный разведывательный отчёт. Документ разошёлся по американским военным структурам и запустил подготовку к перехвату. По словам источников CNN, самолёты находились в воздухе, а вооружённые бойцы готовились подняться на борт.

Перед началом операции отчёт всё же решили проверить внимательнее. Выяснилось, что ИИ неверно распознал груз и добавил недостоверные сведения. Что именно находилось на судне, CNN установить не удалось.

Один из источников назвал документ полностью выдуманным и заявил, что он едва не спровоцировал войну: нападение на китайский корабль могло быстро перерасти в вооружённый конфликт.

Какой чат-бот использовал аналитик — коммерческий или правительственный — неизвестно. Пентагон и Тихоокеанское командование специальных операций США не ответили CNN на запросы.

Инцидент случился на фоне ускоренного внедрения ИИ в американской армии. Единого стандарта проверки ответов таких систем при этом нет.

RSS: Новости на портале Anti-Malware.ru