Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Telegram и ТВ лидируют: откуда россияне берут новости по кибербезу

Если вы интересуетесь ИТ и инфобезом, скорее всего вы читаете Telegram: среди тех, кто следит за такими темами, 39% доверяют каналам в Telegram. На втором месте — телевизор (32%), дальше идут российские новостные сайты (24%). Такую статистику удалось получить в ходе опроса, проведённого «Лабораторией Касперского».

Как люди предпочитают получать новости о кибербезопасности и технологиях? Большинство — короткие посты и заметки (66%). Эксперты подчёркивают: независимо от источника важно проверять факты — это помогает не попасться на фейки и ловушки мошенников.

Видео и телевизионные выпуски тоже популярны — 56% респондентов смотрят новости в формате видео или передач. Полноценно читать длинные статьи готовы лишь 27%, а примерно каждый пятый (20%) слушает подкасты или другие аудиоформаты.

Если смотреть на все темы вместе, вне зависимости от интересов, россияне больше всего доверяют телевидению и Telegram — по 33% каждому. Нейросети и чат-боты пока не воспринимают как надёжный источник: суммарно им доверяют около 7% опрошенных — и это логично, ведь ИИ может «галлюцинировать», то есть придумывать факты, которые нужно перепроверять.

Как люди находят новости? Больше половины (57%) заходят на главную страницу сайта или пролистывают основную ленту, 35% смотрят рекомендованные подборки. Около 40% переходят в конкретные разделы (политика, технологии и т. п.), а 22% ищут новости целенаправленно по интересующей теме.

Привычки потребления материалов разные. Полностью читать новости готовы 57% респондентов, 46% — довольствуются краткими сводками и анонсами, 28% быстро бегло просматривают текст, а 10% ограничиваются только заголовками. Видео и аудио чаще смотрят не целиком: 44% смотрят весь выпуск, 33% слушают в фоне, 28% выделяют только важные фрагменты, 12% предпочитают короткие обзоры и дайджесты.

Эксперты комментируют: тенденция доверия к телевидению сохранилась — люди по-прежнему видят в нём источник, где чаще проверяют факты. Telegram удобен и оперативен, но он же создаёт «информационные пузыри», где люди получают только подтверждающие их мнение материалы.

Это напрямую связано с кибербезопасностью: в большом потоке новостей легче пропустить фишинговые сайты, дипфейки или сомнительные предложения. Злоумышленники активно пользуются этим, включая в арсенал и инструменты на базе ИИ.

Главная мысль от специалистов: выбирать источники нужно осознанно и критически. Проверяйте новости, особенно если они про киберриски и финансовые предложения; не вводите личные данные на сомнительных сайтах и используйте проверенные защитные решения. 

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru