Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Более 50% компаний перекладывают непрерывность на ИТ, 20% имеют план

«Инфосистемы Джет» провела масштабное исследование практик восстановления после инцидентов и выяснила: большинство российских компаний относятся к киберустойчивости фрагментарно и чаще действуют по факту, а не по плану. Ключевая мысль исследования — сегодня именно инциденты информационной безопасности и крупные ИТ-сбои чаще всего прерывают бизнес-процессы.

При этом компании по-прежнему разделяют ответственность так, что получается разрыв между операциями и стратегией.

Основные выводы исследования:

  • Более половины компаний полностью возлагают заботу о непрерывности процессов на ИТ-отдел.
  • Только 20% организаций имеют согласованный с бизнесом план восстановления ИТ-инфраструктуры.
  • 37% полагаются исключительно на резервное копирование, а каждая пятая компания не защищает резервные копии дополнительно — это оставляет их уязвимыми.
  • Кризис-менеджмент преимущественно реактивный: команды действуют по мере возникновения проблем, а не по отработанным сценариям.
  • 70% организаций тестируют планы восстановления, но почти не моделируют реальные инциденты.
  • Лишь 40% готовы публично говорить о произошедших инцидентах, что мешает формированию прозрачной культуры киберустойчивости.

Исследование подчёркивает: базовых мер часто мало. Подразделения информационной безопасности фокусируются на защите периметра, ИТ — на восстановлении систем, но редко выстраивается сквозной, комплексный подход — от предотвращения инцидента до его отработки и анализа последствий. В результате у компании может быть «крепкий» периметр и надёжные бэкапы, но при этом игнорироваться защита критических контуров вроде СРК, а плохо настроенные процессы восстановления приводят к большим потерям даже при наличии отдельных сильных элементов.

Что нужно делать дальше:

  • Внедрять BIA (анализ влияния на бизнес), оценку рисков и регулярное тестирование планов восстановления.
  • Переходить от реактивного реагирования к отработанным сценариям и моделированию реальных инцидентов.
  • Защищать резервные копии отдельно и вводить лимиты/контроли на их доступ.
  • Вовлекать весь бизнес: киберустойчивость — это не только задача службы ИБ или ИТ, это общая ответственность ИТ-отдела, бизнеса, финансов, HR и руководства.
  • Стремиться к антихрупкости — архитектуре и процессам, которые не просто выдерживают удар, но учатся и укрепляются после инцидента.

«Главное отличие компаний, которые быстро восстанавливаются после кибератаки, — они готовились заранее», — говорит Андрей Янкин, директор центра информационной безопасности «Инфосистемы Джет». «Почти никогда не получается восстановиться с первого раза, если это ни разу не отрабатывалось на практике. Нужно проводить учения, моделировать атаки, проверять коммуникации и распределение ролей. И самое важное — вовлечённость всей компании: киберустойчивость невозможна, если в ней участвует только служба ИБ».

В итоге исследование показывает, что переход от точечных мер к стратегическому, системному подходу — не прихоть, а необходимость. Компании, которые начнут системно оценивать риски, тестировать сценарии и вовлекать все подразделения, будут восстанавливаться быстрее и получать меньше ущерба от будущих инцидентов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru