ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Киберпреступники распробовали ИИ: число атак выросло почти вдвое

Злоумышленники резко нарастили интерес к искусственному интеллекту. По данным BI.ZONE, в 2025 году количество целевых атак с применением ИИ выросло на 93%, а с начала 2026 года — ещё в три раза. Специалисты BI.ZONE Threat Intelligence и BI.ZONE Digital Risk Protection изучили более 7400 сообщений на теневых форумах и выяснили: тема ИИ у киберпреступников больше не выглядит экзотикой.

Если раньше такие обсуждения встречались единично, то теперь отдельные ветки есть минимум на семи площадках.

Главный хит подпольных обсуждений — обход ограничений публичных ИИ-моделей. На эту тему приходится 77% публикаций. Злоумышленники делятся готовыми промптами и инструкциями, пытаясь заставить популярные модели генерировать вредоносный код или помогать в подготовке атак.

Всплеск интереса пришёлся на конец 2025-го и начало 2026 года, когда вышли новые версии крупных моделей. Но реальность пока холодно щёлкает энтузиастов по носу: код, полученный через такие «обманутые» модели, часто содержит ошибки и просто не работает. Впрочем, опытный атакующий может использовать отдельные фрагменты как заготовку.

На втором месте — нецензурируемые ИИ-модели, созданные специально под задачи злоумышленников. Им посвящены 22% сообщений. Часть таких решений бесплатна, часть продаётся по подписке — от 6 до 990 долларов в месяц.

Но и тут магии не случилось. Тесты BI.ZONE показали, что ни одна из популярных моделей без ограничений пока не выдаёт готовый рабочий инструмент для атаки. Максимум — помогает ускорить рутину тем, кто и так понимает, что делает.

Около 1% сообщений касается попыток автоматизировать полный цикл кибератаки: от разведки до социальной инженерии. ИИ действительно может ускорять поиск целей, писать фишинговые тексты, генерировать дипфейки и помогать с кодом. Но полностью заменить человека он пока не способен.

Ирония в том, что на подпольном рынке уже начали хвастаться обратным: мол, наше вредоносное приложение написано без вайбкодинга и без ИИ. Видимо, даже киберпреступники поняли, что сгенерировано нейросетью — не всегда знак качества.

RSS: Новости на портале Anti-Malware.ru