Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Подпишитесь на новости

Банк России усиливает контроль наличных: скопленное придётся подтвердить

Принести в банк крупную сумму и заявить, что давно копил может оказаться недостаточно. Банк России рекомендовал банкам проверять происхождение наличных при операциях граждан от 5 млн рублей (за один раз или суммарно за календарный месяц). Особое внимание будут уделять операциям, нетипичным для обычных расчётов человека.

Как объяснил Банк России, кредитным организациям надо помешать выводу теневой наличности в легальный оборот. Регулятор утверждает, что меры затрагивают узкий круг клиентов.

Рекомендации охватывают переводы наличными без открытия счёта, обмен валюты, покупку слитков, драгоценных монет и обработанных природных алмазов.

Подтверждать источник денег банкам рекомендуют до операции. Для этого пригодятся справки о доходах, договор продажи имущества, документы о наследстве или дарении.

Если подтверждающие сведения у банка уже есть и объёмы операций существенно не выросли, рекомендации допускают исключение. Дробление сумм ради обхода проверки, наоборот, может вызвать дополнительные подозрения.

Параллельно ЦБ отчитался о снижении жалоб на кибермошенников: за январь — сентябрь 2026 года их стало на 34,1% меньше, чем годом ранее. Число случаев, когда аферисты убеждали людей перевести деньги или раскрыть данные, по сообщению регулятора, сократилось на 44,8%.

Зато основные претензии банковских клиентов теперь связаны с отказами в операциях и ограничениями по счетам. Хотя, по данным проверок ЦБ, необоснованных ограничений стало заметно меньше.

RSS: Новости на портале Anti-Malware.ru