ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Orion soft отдала всю линейку продуктов на регулярные пентесты CICADA8

Компания Orion soft, которая разрабатывает инфраструктурное ПО для Enterprise-сегмента, объявила о партнёрстве с CICADA8. По условиям соглашения эксперты CICADA8 будут на регулярной основе проводить тестирования на проникновение всех ключевых продуктов вендора.

Решение выглядит вполне логичным: атаки через уязвимости в ИТ-системах по-прежнему остаются одной из самых чувствительных угроз для бизнеса.

Поэтому Orion soft решила усилить уже существующий подход к безопасной разработке и добавить к нему ещё один постоянный уровень проверки.

В компании подчёркивают, что работа над безопасностью у них и так выстроена системно. В процесс входят практики DevSecOps, внутренние проверки компонентов и участие в программах поиска уязвимостей, включая bug bounty. Теперь к этому набору добавятся и регулярные пентесты всей продуктовой линейки.

Как пояснил директор по развитию бизнеса Orion soft Максим Березин, внутренних проверок и автоматизированного контроля уже недостаточно, когда продуктами компании пользуется большое число заказчиков. В качестве примера он привёл платформу виртуализации zVirt, которую, по его словам, используют более 700 компаний. Orion soft уже разместила это решение на платформе Standoff Bug Bounty, а теперь расширяет практику внешней оценки защищённости за счёт сотрудничества с CICADA8.

В рамках проекта специалисты CICADA8 будут регулярно анализировать защищённость продуктов zVirt, StarVault, Nova, Termit и Cloudlink. Проверки планируют проводить как по мере выхода новых релизов, так и в формате повторного анализа, чтобы отслеживать динамику изменений и понимать, как меняется уровень защищённости от версии к версии.

По итогам каждого этапа Orion soft будет получать детализированные отчёты с описанием найденных уязвимостей, возможных сценариев эксплуатации и рекомендациями по устранению проблем. Это позволит команде вендора быстрее закрывать обнаруженные недостатки и учитывать результаты тестов в дальнейшем развитии продуктов.

В CICADA8 отмечают, что классический пентест остаётся востребованным даже при наличии программы баг-баунти. По словам руководителя отдела анализа защищённости компании Алексея Хайдина, такой формат даёт более глубокое погружение в архитектуру продукта и более плотную работу с командой разработки. За счёт этого можно проверять сценарии, которые обычно не охватываются публичными программами поиска уязвимостей.

По сути, Orion soft делает ставку на многоуровневую модель безопасности: внутренние процессы, публичный поиск багов и регулярный внешний анализ защищённости. Для заказчиков это означает более предсказуемый и системный подход к безопасности инфраструктурных решений — особенно в условиях, когда требования к защите корпоративных систем становятся всё строже.

RSS: Новости на портале Anti-Malware.ru