ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Solar Dozor 8.3 научили быстрее восстанавливать данные после шифровальщиков

ГК «Солар» выпустила новую версию Solar Dozor 8.3 — своей DLP-системы для крупных компаний, банков и госструктур. Главный акцент в обновлении сделали на устойчивости: если данные окажутся зашифрованы в результате атаки или сбоя, их можно будет восстановить за считаные минуты, без долгого подъёма архивов.

Ключевое изменение в релизе — репликация центрального файлового хранилища.

По сути, система теперь умеет создавать теневую копию логически связанных данных — например, сообщений, скриншотов и аудиозаписей — чтобы при проблемах быстрее вернуть их в работу. На фоне атак шифровальщиков это выглядит вполне понятным шагом: для крупных инфраструктур остановка защитной системы сама по себе уже становится серьёзной проблемой.

Обновление затронуло и архитектуру в целом. В версии 8.3 трафик между компонентами Solar Dozor теперь шифруется через mTLS на базе TLS 1.2/1.3, а для доступа к системе добавлена доменная аутентификация LDAP с поддержкой Kerberos и LDAP. Иначе говоря, интегрировать решение в корпоративную доменную среду стало проще, а управление доступом — более привычным для крупных ИТ-инфраструктур.

Кроме того, в системе появилась поддержка IPv6 и настройка по FQDN, что должно упростить её использование в динамических сетевых средах, где всё не завязано на статические IP-адреса.

Есть изменения и на уровне самого анализа данных. Solar Dozor теперь точнее распознаёт специальные символы, включая знак доллара, а также умеет разбирать файлы внутри архивов без ограничений по уровню вложенности. Это расширяет область контроля и затрудняет попытки спрятать чувствительные данные в глубоко вложенных архивах.

Для macOS добавили распознавание текста на изображениях, а для рабочих станций на Windows и Linux расширили механизмы контроля на уровне endpoint. Также в системе изменили логику анализа печати: теперь проверяются не целые документы, а только страницы, реально отправляемые на принтер. Это должно снизить нагрузку на ИБ-специалистов и сократить число лишних событий.

В «Соларе» также обновили интерфейс и упростили настройку политик. Плюс увеличили лимиты выгрузки отчётов: теперь система может отдавать до 50 тысяч событий, сообщений и файлов за раз, что должно быть удобнее для разбора инцидентов и анализа общей картины.

RSS: Новости на портале Anti-Malware.ru