ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Госдума приняла в первом чтении два закона об ответственности в сфере КИИ

Госдума приняла два закона, уточняющих составы уголовных преступлений и административных правонарушений, связанных с ненадлежащей эксплуатацией объектов критической информационной инфраструктуры (КИИ). В ряде случаев ответственность за такие нарушения смягчается. Законопроекты № 1071997-8 и № 1071966-8 были внесены в Госдуму в ноябре 2025 года группой депутатов.

Принятые нормативные акты уточняют положения статьи 274.1 Уголовного кодекса РФ, которая касается нарушения правил эксплуатации объектов КИИ.

Часть деяний авторы предлагают декриминализировать и отнести к административным правонарушениям. Основной мотив таких изменений — снизить риск оттока кадров из организаций, являющихся субъектами КИИ, где значительная доля сотрудников фактически выступает пользователями систем, подпадающих под жёсткое регулирование.

«Представляется обоснованным внесение изменений в части 2 и 3 статьи 274.1 УК РФ, уточняющих объективную сторону состава преступления в части определения общественно опасных последствий в форме уничтожения, блокирования, модификации либо копирования компьютерной информации, содержащейся в критической информационной инфраструктуре Российской Федерации, — говорится в пояснительной записке к законопроекту № 1071997-8. — Вместе с тем действующая редакция частей 2 и 3 статьи 274.1 УК РФ, в силу отсутствия определения вреда как признака состава преступления, не позволяет объективно оценивать его наличие либо отсутствие».

Как отмечают авторы, предлагаемые изменения основаны на анализе сложившейся судебной практики по статье 274.1 УК РФ. Она показывает, что суды, как правило, трактуют вред КИИ как копирование либо изменение информации в соответствующих системах.

В рамках законопроекта № 1071966-8 предлагается декриминализировать все нарушения правил эксплуатации КИИ, которые не привели к очевидному ущербу, и перевести их в разряд административных правонарушений.

Согласно статистике, собранной директором технического департамента RTM Group Фёдором Музалевским, около 10% дел по статье 274.1 УК РФ по итогам 2021 года были возбуждены из-за случайных или неосознанных действий без корыстного мотива. Кроме того, как показывают данные Судебного департамента за последние пять лет, реальные сроки лишения свободы по этой статье назначаются крайне редко и носят единичный характер.

RSS: Новости на портале Anti-Malware.ru