Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Подпишитесь на новости

Сдайся и получи награду: что адвокат Бух предлагал мнимому главе LockBit

«Известия» опубликовали расследование о переговорах американского адвоката Аркадия Буха с человеком, выдававшим себя за предполагаемого руководителя LockBit Дмитрия Хорошева. По версии издания, юрист предлагал собеседнику сдаться властям США и разделить награду за его поимку. Бух это отрицает.

В материале «Известий» говорится, что анонимный источник передал редакции видеозаписи разговоров. Сам источник утверждает, что назвался Хорошевым, чтобы получить ответы адвоката.

За информацию, позволяющую установить местонахождение Хорошева или добиться его задержания, американские власти предлагают до $10 млн. По интерпретации опубликованных записей, Бух обсуждал вариант, при котором две трети награды достались бы собеседнику, а треть — адвокату.

Издание также описывает предложения встретиться на нейтральной территории или организовать разговор с ФБР через Zoom.

Опрошенный «Известиями» американский адвокат поставил под сомнение правовую основу выплаты разыскиваемому награды за собственную явку и указал на возможный конфликт интересов.

Бух заявил редакции, что не подталкивает доверителей к сделкам: он обязан объяснять доступные стратегии, а решение принимает клиент. Предложение делить награду он отверг, назвав такую практику недопустимой.

В итоге перед нами спор о содержании переговоров с человеком под вымышленной личностью. Громкий сюжет есть; подтвержденного вывода, что адвокат продает клиентов ФБР, опубликованный материал сам по себе не устанавливает.

RSS: Новости на портале Anti-Malware.ru