Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Low-Code в ИБ: как собирать процессы без разработки с нуля

Рынок информационной безопасности всё чаще требует не масштабных платформ на вырост, а быстрых и понятных решений для конкретных задач — обработки инцидентов, управления уязвимостями, интеграции средств защиты и автоматизации рутинных операций.

На этом фоне всё больше внимания привлекают платформы класса Low-Code / No-Code, позволяющие создавать рабочие процессы без полноценной разработки.

Один из таких примеров — платформа Security Vision, о которой рассказала руководитель отдела разработки продуктов компании Ева Беляева в эфире AM Talk.

По сути, Low-Code / No-Code позволяет собирать процессы из готовых блоков и логических схем вместо написания тысяч строк кода. Если специалист понимает, как выполняется задача вручную, он может перенести её логику в визуальный конструктор и автоматизировать процесс.

При этом разработчики никуда не исчезают. Для сложных интеграций и взаимодействия с конечными системами по-прежнему могут использоваться скрипты и программный код. Но значительная часть бизнес-логики переносится в визуальную среду, что заметно ускоряет внедрение новых решений.

В Security Vision такой подход используется сразу в двух направлениях. Первое — создание готовых ИБ-продуктов, включая решения для управления активами, уязвимостями и инцидентами. Второе — предоставление самой платформы заказчикам и партнёрам для самостоятельной разработки собственных решений.

Одним из главных преимуществ считается сокращение времени вывода продуктов на рынок. Вместо формирования полноценной команды разработчиков компания может обучить работе с платформой инженеров и аналитиков, а затем быстро запускать новые процессы и сервисы.

Есть и реальные кейсы. В одном из проектов заказчик отказался от коробочного решения и построил собственную систему на базе платформы Security Vision. Для этого потребовалась команда фактически из полутора специалистов — инженера и аналитика. На создание рабочего продукта ушло около шести месяцев.

Порог входа в платформу называют относительно невысоким. Быстрее всего её осваивают специалисты по информационной безопасности и разработчики. Базовое обучение занимает от двух недель до месяца, а программа стажировки для студентов рассчитана на три месяца.

В самой Security Vision считают, что будущее таких платформ — не просто в автоматизации отдельных задач, а в формировании целых экосистем решений. Чем больше процессов удаётся перевести из ручного режима в конструктор, тем быстрее бизнес получает результат и тем меньше зависит от длительных циклов классической разработки.

Подробнее читайте в нашей большой статье.

RSS: Новости на портале Anti-Malware.ru