Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Pixnapping: скрытая атака на Android, которая читает пиксели экрана

Учёные придумали новый трюк под названием Pixnapping, который позволяет злонамеренному приложению на Android фактически «снять» то, что показывают другие приложения, — 2FA-коды, сообщения, таймлайны местоположений и всё прочее, что видно на экране.

Главное — жертве нужно только установить вредоносное приложение; для успешной атаки такому софту не требуются системные разрешения.

Как это работает: сначала программа вызывает целевое приложение так, чтобы то отрендерило на экране нужную информацию (например окно с кодом).

Потом вредонос буквально «рисует» поверх и меряет маленькие различия во времени рендера отдельных пикселей — по этим таймингам он понимает, белый пиксель был или нет, и восстанавливает изображение по пикселю.

В итоге можно собрать, скажем, шестизначный 2FA-код или часть переписки — не мгновенно, но достаточно быстро, чтобы это представляло реальную угрозу в ряде случаев.

Исследователи показали вектор атаки на нескольких моделях смартфонов. В ряде случаев метод оказался достаточно быстрым, чтобы за 20–25 секунд восстановить код; на других — были помехи и скорость падала.

Разработчики платформ и производители смартфонов уже выпустили обновления, которые частично снижают риск, но учёные предупреждают, что атака может эволюционировать и обойти начальные фиксы.

Стоит заметить, что в реальной жизни реализовать Pixnapping не так просто: нужны тонкая настройка, подходящая модель устройства и время. Это не массовая эпидемия типа «вирусной» СМС-рассылки, но уязвимость серьёзная, потому что ломает базовое предположение — «одно приложение не должно читать то, что видно в другом».

Что делать обычному пользователю:

  • Обновите Android и приложения до последних версий — производители уже начали выпускать патчи.
  • Ставьте приложения только из проверенных источников и внимательно читайте отзывы.
  • Удаляйте или блокируйте подозрительные программы.
  • По возможности используйте более защищённые способы входа (аппаратный ключ безопасности вместо СМС- и 2FA-кодов там, где это поддерживается).

В общем, Pixnapping — интересный и тревожный пример того, как можно обойти привычные границы между приложениями, играя на особенностях рендеринга и времени. Паниковать не стоит, но обновлять версию ОС смартфона и быть внимательнее с незнакомыми apk — обязательно.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru