Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Антифрод не спасает: операторов связи в России штрафуют за подменные номера

Российские операторы связи всё чаще получают многомиллионные штрафы за то, что пропускают звонки мошенников с подменных номеров. Несмотря на работу системы «Антифрод», полностью перекрыть поток аферистов пока не удаётся. Только в июне сразу несколько операторов были наказаны за подобные случаи.

В Санкт-Петербурге, как пишут «Известия», компанию оштрафовали почти на 2 млн рублей после того, как пенсионерка перевела мошенникам миллион рублей.

В Омской области другой оператор получил штраф 600 тысяч рублей за пропуск звонка с подменным номером, после которого у девушки похитили деньги.

По данным Роскомнадзора, в 2025 году за такие нарушения было составлено 132 административных протокола, а общая сумма штрафов превысила 23 млн рублей. В 2026 году составлено уже 102 протокола.

При этом сама система «Антифрод» работает весьма эффективно. Сейчас она ежедневно блокирует около 1,14 млн мошеннических звонков, или более 523 млн в месяц. Но специалисты отмечают, что многое зависит от того, насколько хорошо оператор настроил защиту и насколько современное оборудование использует.

Есть и техническая особенность. Если система проверки не успевает подтвердить подмену номера за 500 миллисекунд, вызов автоматически проходит, иначе пострадала бы обычная телефонная связь. Именно этим иногда пользуются злоумышленники.

Кроме того, мошенники продолжают искать обходные пути: используют зарубежные шлюзы, VoIP-сервисы, небольших операторов, сим-боксы и всё чаще начинают атаку через мессенджеры, а телефонный звонок используют уже как второй этап.

Но главные изменения ещё впереди. С марта 2027 года должны вступить в силу положения закона «Антифрод 2.0». Если суд установит, что оператор не принял достаточных мер для блокировки мошеннического звонка, пострадавший сможет требовать компенсацию ущерба уже не только от банка, но и от оператора связи.

Эксперты считают, что после этого телеком-компаниям станет дешевле максимально качественно настраивать свои антифрод-системы, чем потом выплачивать клиентам украденные мошенниками деньги.

RSS: Новости на портале Anti-Malware.ru