Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

«Аладдин» выпустил Aladdin 2FA без зависимости от App Store и Google Play

Российская компания «Аладдин» представила новую версию решения для двухфакторной аутентификации Aladdin 2FA, которая работает в формате Progressive Web Application (PWA). Главное новшество — теперь приложение не зависит от зарубежных магазинов приложений вроде App Store и Google Play.

Новый формат расширяет возможности JaCarta Authentication Server (JAS) — корпоративного сервера аутентификации, который используется для организации двухфакторной защиты в информационных системах и бизнес-приложениях.

В компании отмечают, что традиционная схема распространения мобильных приложений через магазины приложений несет определенные риски. Сервис может столкнуться с ограничениями, удалением из каталога или другими внешними факторами, которые влияют на доступность решения для пользователей.

В случае с PWA эти проблемы обходятся стороной. Приложение размещается непосредственно в инфраструктуре заказчика и запускается через веб-браузер. При этом для пользователя всё выглядит привычно: после установки на устройство Aladdin 2FA получает собственную иконку, работает как обычное мобильное приложение и поддерживает стандартные сценарии двухфакторной аутентификации.

Еще одно преимущество — универсальность. Решение работает на смартфонах, планшетах, ноутбуках и автоматизированных рабочих местах независимо от используемой аппаратной платформы.

Особый акцент разработчики делают на полном контроле со стороны организации. Все компоненты системы разворачиваются внутри инфраструктуры заказчика, а обновления распространяются централизованно вместе с серверной частью. Это избавляет ИТ-службы от необходимости публиковать новые версии через сторонние площадки и упрощает администрирование.

По словам менеджера по развитию бизнеса JMS/JAS/JIP компании «Аладдин» Станислава Винарского, новый формат делает двухфакторную аутентификацию по-настоящему независимой. Заказчики могут самостоятельно управлять размещением, обновлением и эксплуатацией решения, не полагаясь на зарубежные сервисы и внешние платформы.

На фоне растущего интереса российских компаний к технологическому суверенитету такой подход выглядит вполне логичным. Если раньше вопрос стоял в том, каким приложением пользоваться для двухфакторной аутентификации, то теперь всё чаще возникает другой: как сделать так, чтобы доступ к этому приложению не зависел от решений иностранных площадок.

RSS: Новости на портале Anti-Malware.ru