Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Учёные создали ИИ-агента для поиска уязвимостей в Android

Учёные из Китая и Австралии представили систему A2 — ИИ-агента, который умеет находить уязвимости в Android-приложениях и даже создавать PoC-эксплойты на лету. По сути, это продолжение их предыдущей разработки A1, ориентированной на смарт-контракты, только теперь фокус на мобильных приложениях.

Авторы исследования — Цзыюэ Ван из Нанкинского университета и Лийи Чжоу из Университета Сиднея — утверждают, что A2 показывает впечатляющие результаты: 78,3% покрытия на тестовом наборе Ghera против 30% у статического анализатора APKHunt.

Более того, при проверке 169 реальных APK-файлов агент нашёл 104 уязвимостей нулевого дня, из которых 57 подтвердил автоматически с помощью PoC-эксплойтов.

Один из примеров — баг в приложении более чем с 10 миллионами установок. Речь идёт об уязвимости типа intent redirect: если приложение не проверяет, куда именно отправляется «интент» (сообщение с запросом действия), злоумышленник может подменить получателя и перехватить управление.

Главное отличие A2 от предыдущих решений в том, что система не просто ищет подозрительные места в коде, а сама же проверяет их на практике. Как поясняет Чжоу, A2 разбивает задачу на этапы — найти ключ, сгенерировать токен, обойти аутентификацию — и на каждом шаге подтверждает результат. Это сильно снижает количество ложных срабатываний, от которых страдают традиционные сканеры.

Любопытно и то, что A2 построен на коммерческих ИИ-моделях вроде OpenAI o3 и Gemini 2.5. Они распределены по ролям: планировщик, исполнитель и валидатор. Такой «оркестр» ИИ позволяет подойти к поиску уязвимостей так, как это сделал бы живой эксперт.

Разработчики уверены: будущее за подобными агентами. Стоимость проверки уязвимости колеблется от менее доллара до нескольких долларов, а потенциальные вознаграждения в программах баг-баунти могут достигать тысяч. Правда, остаётся вопрос: баг-баунти покрывают далеко не все приложения, и часть найденных уязвимостей может оказаться на вооружении злоумышленников.

По словам Чжоу, мы стоим на пороге «взрыва» в этой области: одни будут использовать A2-подобные системы для защиты, другие — для атак. Адам Бойнтон из Jamf добавляет, что ценность A2 именно в том, что он переводит процесс из бесконечного потока «шумных» алертов в доказательную практику, где командам безопасности остаётся разбираться только с реальными рисками.

Код A2 и артефакты пока доступны только исследователям с институциональной аффиляцией — баланс между открытой наукой и ответственным раскрытием.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru