ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Молодой уральский медик попал под суд за поиск экстремистских материалов

В Свердловской области суд рассматривает дело молодого медика, обвиняемого в умышленном поиске экстремистских материалов (ст. 13.53 КоАП РФ). Это первый известный случай попытки привлечь к ответственности по новой статье, введённой летом 2025 года.

Согласно законодательству, штраф до 5 тысяч рублей грозит тем, кто осуществляет «поиск заведомо экстремистских материалов и получение доступа к ним, в том числе с использованием программно-аппаратных средств для обхода ограничений доступа к информационным ресурсам».

Как сообщают местные СМИ со ссылкой на адвоката обвиняемого Сергея Барсукова, 20-летний медик столкнулся с запрещённой информацией случайно — 24 сентября, по дороге на работу. По словам защитника, молодой человек лишь наткнулся на сведения о ряде организаций, признанных в России экстремистскими.

Однако, как уточнили источники РИА Новости в оперативных службах, фигурант состоял в неонацистских интернет-сообществах. Его поисковые запросы, по данным следствия, касались деятельности украинских националистических формирований, признанных в России террористическими и запрещёнными.

В тот же день молодого человека вызвали в отдел ФСБ, а 8 октября на него был составлен протокол об административном правонарушении по статье 13.53 КоАП РФ. Адвокат Барсуков предполагает, что информацию в спецслужбы мог передать мобильный оператор.

Первое судебное заседание прошло в конце октября. Защита ходатайствовала о вызове свидетелей.

«Я считаю, что на основании представленных материалов нельзя строить обвинение. До суда я направил жалобу в УФСБ по Свердловской области с просьбой провести служебную проверку в отношении сотрудников отдела по Каменску-Уральскому — на предмет оказания психологического давления на моего подзащитного. Аналогичное обращение направлено в Главное управление МВД России по региону», — заявил адвокат Сергей Барсуков.

Второе заседание состоялось 6 ноября. Свидетели, вызванные в суд, не явились. В итоге суд не стал выносить решение и вернул материалы дела на доработку.

«Сегодня я обратил внимание суда на то, что представленные материалы являются „сырыми“: в них отсутствуют доказательства вины моего подзащитного. Суд с доводами согласился и направил дело правоохранителям для устранения недостатков. Будут ли они устранены — сомневаюсь, поскольку мой подзащитный невиновен», — прокомментировал итоги заседания Сергей Барсуков.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru