ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

30% киберинцидентов в финсекторе связаны с нарушением политик безопасности

Финансовый сектор остаётся одной из главных мишеней для киберпреступников — но проблемы создают не только внешние атаки. По данным ГК «Солар», в 2025 году на одну компанию из финансово-страховой отрасли в среднем пришлось 6 048 кибератак, а 30% инцидентов связаны с нарушением сотрудниками политик информационной безопасности.

Отчёт подготовлен к Уральскому форуму «Кибербезопасность в финансах» и основан на данных Solar JSOC, сервисов Anti-DDoS и WAF, а также центра мониторинга внешних угроз Solar AURA.

Всего в 2025 году в финсекторе зафиксировано 8,5 тыс. подтверждённых киберинцидентов — примерно столько же, сколько годом ранее. Чаще всего компании сталкивались с внутренними угрозами (32%). Речь идёт как о случайных, так и о умышленных действиях сотрудников: подозрительных операциях с учётными записями, нарушениях политик безопасности, использовании зловреда. По оценке экспертов, это сигнал о необходимости усиливать обучение персонала кибергигиене.

Каждый пятый инцидент (20%) связан с попытками получить доступ к конфиденциальной информации и вывести её за пределы защищённого периметра. Ещё 15% приходится на кражу учётных данных, а 11% — на разведку инфраструктуры в поисках уязвимостей. По мнению аналитиков, это указывает на активность профессиональных APT-группировок, заинтересованных в краже данных и последующей монетизации.

Интересно, что число DDoS-атак на финсектор за год сократилось почти вдвое — до 41 тыс. Пики приходились на периоды геополитической напряжённости и санкционных новостей. При этом атаки на веб-приложения, наоборот, выросли в 1,7 раза — до почти 30 млн. Эксперты считают, что так злоумышленники ищут уязвимости для более сложных атак.

Несмотря на высокий интерес к отрасли, реальных утечек стало меньше. По данным Solar AURA, в 2025 году зафиксировано 24 публичных сообщения об утечках в финсекторе (против 33 годом ранее). В открытый доступ попало около 13 млн строк данных — это в 32 раза меньше, чем в 2024 году. В общей статистике по отраслям финсектор занимает лишь 0,3% по числу утечек.

В итоге картина выглядит так: атак по-прежнему много, профессиональные группы активно «прощупывают» отрасль, но уровень защиты остаётся высоким. А вот человеческий фактор по-прежнему остаётся одним из самых слабых звеньев.

RSS: Новости на портале Anti-Malware.ru