Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

40% бизнеса считают риски генеративного ИИ критическими

Российский бизнес всё активнее доверяет искусственному интеллекту написание и анализ программного кода. Однако вместе с ростом популярности генеративного ИИ растет и тревога: почти все компании признают, что такие инструменты могут создавать серьезные риски для информационной безопасности.

К такому выводу пришли специалисты УЦСБ и группы компаний «Солар», опросившие более сотни организаций из сфер финансов, промышленности, телекома, энергетики, торговли, медицины и госсектора.

Согласно исследованию, более 80% компаний уже разрешают использовать генеративный ИИ при разработке программного обеспечения. Чаще всего его применяют для ускорения написания кода, анализа программ и поиска уязвимостей.

Но есть нюанс. Сразу 95% участников исследования считают, что генеративный ИИ несет существенные риски безопасности, а 40% называют их критическими.

При этом только половина компаний разрешает использование ИИ в контролируемом режиме — например, через сервисы, развернутые внутри собственного ИТ-контура. Еще тревожнее выглядит другая цифра: около 32% организаций фактически не контролируют использование ИИ разработчиками и не предъявляют требований по информационной безопасности.

На этом фоне бизнес всё активнее смотрит в сторону закрытых корпоративных языковых моделей. Почти 87% опрошенных положительно оценивают внедрение собственных LLM для анализа безопасности, поиска уязвимостей и автоматического исправления кода. Каждый четвертый считает такие решения необходимыми уже сейчас.

Эксперты объясняют осторожность компаний просто. Публичные ИИ-сервисы могут стать источником утечек данных, а их способность находить уязвимости далека от идеала. По оценкам специалистов, открытые LLM-модели пропускают от 40 до 50% проблем безопасности в программном коде.

Кроме того, генеративный ИИ зачастую анализирует код как набор шаблонов, а не понимает его логику целиком. В результате появляются ложные срабатывания, а сложные уязвимости могут остаться незамеченными.

Неудивительно, что компании готовы инвестировать не только в собственные ИИ-модели, но и в процессы MLSecOps, аудит безопасности, red teaming и пентесты ИИ-систем.

Получается парадоксальная ситуация: бизнес уже не хочет отказываться от искусственного интеллекта в разработке, но и полностью доверять ему пока тоже не готов. И чем глубже ИИ проникает в процессы создания ПО, тем острее становится вопрос — кто будет проверять самого ИИ.

RSS: Новости на портале Anti-Malware.ru