Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Злоумышленники обманывают россиянок от имени звезд

Компания F6 предупреждает о резком росте числа мошеннических схем, в которых злоумышленники выманивают деньги у россиянок, представляясь звёздами шоу-бизнеса — как российскими, так и зарубежными. Для убедительности аферисты активно используют дипфейки, а также мессенджеры и социальные сети. В ход идут сгенерированные нейросетями голосовые и видеосообщения.

О новой волне дипфейк-атак на россиянок рассказал изданию «Фонтанка» эксперт F6 Сергей Золотухин.

«Главный тренд года в схемах “про любовь” — использование искусственного интеллекта. С помощью нейросетей киберпреступники уже давно создают фейковые фото и видео со знаменитостями, которые сложно отличить от настоящих. Известны случаи, когда для обмана использовались образы Димы Билана, Сергея Лазарева, Брэда Питта, Райана Гослинга и Леонардо Ди Каприо», — рассказал Сергей Золотухин.

Сценарий обычно начинается с комплиментов и виртуального флирта, после чего злоумышленники переходят к отработке различных схем. Самая распространённая — просьба о финансовой помощи. В качестве повода могут называться болезнь, блокировка счетов, необходимость купить билеты или иная «экстренная» ситуация. После получения денег мошенники чаще всего исчезают, хотя иногда продолжают выманивать средства повторно.

Так, в январе жительницу Саратовской области обманул злоумышленник, представившийся Филиппом Киркоровым. Он попросил оплатить поездку и прекратил общение сразу после перевода денег.

Существуют и схемы без прямого требования перевода средств. Например, аферисты выдают себя за владельцев сети салонов красоты и предлагают бесплатное посещение. Для записи нужно перейти по ссылке, которая ведёт на заражённый сайт. После этого устройство жертвы может быть скомпрометировано, а злоумышленники получают над ним контроль.

Как отмечает Сергей Золотухин, не исчезла и классическая схема Fake Date, рассчитанная преимущественно на мужчин. В этом году злоумышленники чаще всего заманивают жертв на фишинговые сайты якобы для покупки билетов в театр или на концерт. В результате в их распоряжении оказываются платёжные данные. По аналогичной схеме аферисты действовали и ранее.

В 2026 году появился и новый предлог для перехода по фишинговой ссылке — «бесплатная фотосессия». Злоумышленники представляются фотографами, а ссылка якобы ведёт на сайт студии. Также участились попытки вовлечь жертв в инвестиционные мошеннические схемы.

RSS: Новости на портале Anti-Malware.ru