Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Российский софт готовят к отзыву западных сертификатов

Российская ИТ-отрасль готовится к сценарию, который ещё недавно казался маловероятным: западные удостоверяющие центры могут начать массово отзывать сертификаты подписи программного кода у российских разработчиков. Чтобы не остаться без работающего софта, крупнейшие игроки рынка уже создают собственную систему доверия.

Как выяснил РБК, на базе Национального технологического центра цифровой криптографии работает группа «Единое пространство доверия», в которую входят «Астра», «Сбертех», «Базальт СПО», «КриптоПро», «ИнфоТеКС», «Лаборатория Касперского» и другие компании.

Они разрабатывают Отраслевой технологический удостоверяющий центр (ОТУЦ), который должен заменить ушедшие западные сервисы выдачи сертификатов подписи кода.

Проект уже вышел за рамки теории. По словам главы «КриптоПро» Станислава Смышляева, центр работает в тестовом режиме, а разработчики Astra Linux, «Альт», РЕД ОС, ROSA, «Авроры» и ряда ИБ-продуктов уже протестировали выпуск сертификатов и проверку подписанного программного обеспечения.

Проблема стала особенно актуальной после того, как в июне японская GlobalSign начала отзывать сертификаты безопасности у российских сайтов. В отрасли опасаются, что следующим шагом могут стать сертификаты для подписи программ.

Если такой сценарий реализуется, последствия будут серьезными. Операционные системы перестанут доверять программам с отозванными сертификатами: где-то появятся предупреждения, а где-то запуск может быть полностью заблокирован. Для разработчиков это означает риск остановки поставок обновлений и новых версий продуктов.

Особенно болезненной ситуация может стать для компаний, чьи решения работают в Windows и других зарубежных операционных системах. По данным рынка, Windows до сих пор используется более чем в 80% российских организаций.

В Минцифры утверждают, что на случай проблем уже есть резервный план. Национальный удостоверяющий центр получил право выпускать отечественные сертификаты подписи кода, а параллельно тестируется использование российских криптографических алгоритмов ГОСТ в Linux и Android.

По сути, отрасль строит собственный аналог национальной платежной системы, только для программного обеспечения. Логика простая: если зарубежная инфраструктура доверия однажды отключится, российский софт должен продолжить работать без сбоев и риска подмены кода злоумышленниками.

RSS: Новости на портале Anti-Malware.ru