ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Опасный троян SparkCat снова пробрался в App Store и Google Play

Троян SparkCat снова вернулся в официальные магазины приложений. Эксперты «Лаборатории Касперского» сообщили, что обнаружили новый вариант этого зловреда в App Store и Google Play спустя примерно год после того, как его уже находили и удаляли оттуда.

На этот раз вредонос маскировался под вполне обычные приложения, которые не вызывают особых подозрений с первого взгляда: корпоративные мессенджеры и сервисы доставки еды.

А сценарий у операторов всё тот же: пользователь скачивает вроде бы безобидное приложение, а внутри оказывается троян, который охотится за данными пользователя.

Главная цель SparkCat — фотографии в галерее смартфона. Зловред в определённых сценариях запрашивает доступ к снимкам, после чего начинает анализировать текст на изображениях с помощью OCR. В первую очередь его интересуют фразы для восстановления доступа к криптокошелькам. Если троян находит что-то подходящее, изображение отправляется злоумышленникам.

По данным «Лаборатории Касперского», в App Store нашли два заражённых приложения, а в Google Play — одно. О находке сообщили Apple и Google, и в Google Play вредоносное приложение уже удалили. При этом проблема не ограничивается только официальными магазинами: приложения со SparkCat также распространяются через сторонние сайты. Некоторые из них, как отмечают исследователи, даже мимикрируют под App Store, если открыть их с iPhone.

Интересно, что обновлённые версии трояна по-разному ведут себя на Android и iPhone. На Android SparkCat ищет ключевые слова на японском, корейском и китайском языках, из-за чего исследователи предполагают, что эта часть кампании в первую очередь нацелена на пользователей в Азии. А вот iOS-версия ориентируется на мнемонические фразы криптокошельков на английском языке, так что здесь география потенциальных атак уже выглядит гораздо шире.

С технической точки зрения зловред тоже стал хитрее. В «Лаборатории Касперского» говорят, что новая Android-версия использует несколько уровней обфускации, в том числе виртуализацию кода и кросс-платформенные языки программирования. Для мобильного зловреда это уже довольно серьёзный уровень подготовки, который помогает ему дольше оставаться незамеченным и проходить проверки.

Как отметил эксперт по кибербезопасности Сергей Пузан, поведение нового образца очень похоже на первую версию SparkCat, поэтому есть основания полагать, что за обеими кампаниями стоят одни и те же разработчики. Его коллега Дмитрий Калинин добавил, что SparkCat продолжает эволюционировать и всё лучше обходит защитные механизмы официальных магазинов приложений.

RSS: Новости на портале Anti-Malware.ru