Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

ИИ заполонил хакерские форумы и начал раздражать самих киберпреступников

Форумы «чёрных» хакеров и киберпреступников заполонил контент, сгенерированный нейросетями. Его активно продвигают владельцы площадок, нередко на платной основе. Однако самих пользователей таких форумов всё сильнее раздражают большие объёмы низкокачественного ИИ-контента.

К такому выводу пришли исследователи из Эдинбургского университета. Они проанализировали почти 100 тыс. переписок с хакерских форумов, посвящённых искусственному интеллекту, за период с ноября 2022 года — момента выхода первой публично доступной версии ChatGPT — до конца 2025 года.

Как оказалось, пользователей раздражает вмешательство ИИ-ассистентов, которых продвигают владельцы площадок, а также большое количество контента, созданного нейросетями. Кроме того, появление ИИ-резюме в поисковых системах привело к снижению посещаемости форумов.

Между тем такие форумы выстраивали свою репутацию годами. Эти площадки стали не только местом поиска заказов, обмена инструментами и торговли массивами украденных данных, но и пространством для обычного общения. Однако всё чаще пользователи не пишут посты сами, а делегируют это ИИ-ассистентам. Это раздражает тех, кто приходит на такие форумы именно за живым взаимодействием.

Злоумышленники также пытаются использовать искусственный интеллект в атаках. В некоторых сценариях это действительно даёт заметный эффект — например, при автоматизации операций социальной инженерии или генерации фишинговых сообщений. В таких случаях ИИ позволяет даже в массовых атаках повысить конверсию до уровня, который раньше был характерен скорее для целевого фишинга.

Авторы исследования также указывают на активное применение ИИ в схемах с ботами в мессенджерах и мошенничестве на сайтах знакомств, где используются дипфейки и образы несуществующих людей.

Однако при написании вредоносного кода с помощью ИИ результаты, как правило, не впечатляют — примерно так же, как и при создании легитимного кода. Качество обычно остаётся низким. А в случае хакерских инструментов ошибки и уязвимости, характерные для ИИ-сгенерированного кода, могут даже раскрывать инфраструктуру их авторов.

Пока исследователи не видят радикального эффекта от использования ИИ в киберпреступной среде. Особенно это касается заметного снижения порога входа. Также не зафиксировано существенного влияния ИИ на бизнес-модели и другие процессы таких сообществ — ни в положительную, ни в отрицательную сторону.

RSS: Новости на портале Anti-Malware.ru