Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Мошенники сделали схему с доставкой более убедительной и опасной

Злоумышленники обновили давно известную схему с курьерской доставкой, сделав её заметно убедительнее. Теперь они усиливают «социальную привязку», утверждая, что заказчиком услуги является родственник получателя, и даже называют его по имени. Это создаёт у жертвы ощущение реальности происходящего и снижает бдительность.

О модернизации схемы с лжедоставкой сообщили РИА Новости со ссылкой на Angara Security.

Ранее мошенники, как правило, не уточняли отправителя, делая ставку на фактор срочности. Их основной целью было получение идентификационных кодов от различных сервисов либо их имитация — с последующим развитием атаки и попытками похищения средств. Деньги при этом выманивались под предлогом «перевода на безопасный счёт» или передачи наличных курьеру.

Как отметил эксперт по киберразведке Angara MTDR Юрий Дубошей, в обновлённой схеме цели злоумышленников в целом не изменились. Речь по-прежнему идёт о получении контроля над учётной записью, подтверждении действий от имени жертвы или подготовке почвы для хищения денежных средств. Однако теперь этого добиваются за счёт усиленного психологического давления и одновременных попыток повысить уровень доверия.

В Angara Security напомнили, что сотрудники служб доставки никогда не просят сообщать коды подтверждения. При появлении подобных требований разговор следует немедленно прекратить.

При этом никуда не исчезла и более традиционная фишинговая схема, в которой используются точные копии сайтов известных сервисов доставки. Такие схемы также продолжают эволюционировать, становясь всё более сложными и правдоподобными.

RSS: Новости на портале Anti-Malware.ru