Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

X лидирует по сбору данных о местоположении пользователей среди соцсетей

Новое исследование, посвящённое практикам сбора данных о местоположении в крупнейших социальных сетях, показало: пользователи делятся куда большим объёмом информации, чем привыкли думать.

Анализ деклараций в App Store по десяти популярным платформам — включая X, Instagram (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), Facebook (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), TikTok и другие — выявил, что именно X собирает максимальный объём сведений о местоположении.

Сервис получает как точные координаты, так и «приблизительные» данные — и делает это для всех целей, указанных в магазине приложений.

Как соцсети отслеживают местоположение

Практически все платформы в той или иной форме собирают информацию о местоположении пользователей. Даже если в настройках отключён доступ к точным координатам, компании могут определить примерное местоположение по IP-адресу, Bluetooth-сигналам или сопоставлению с другими источниками данных.

 

«Точные» координаты (с точностью до трёх и более знаков после запятой) позволяют формировать детальную картину передвижений: от места работы и визитов в медучреждения до интимных деталей вроде ночёвок вне дома. Сбор таких данных может происходить каждые полчаса.

Кто и зачем собирает данные:

  • X, Instagram (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), Threads, Facebook (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), Pinterest и Snapchat используют точные геоданные для таргетированной рекламы.
  • 90% платформ собирают хотя бы приблизительное местоположение для рекламных целей.
  • Для собственных маркетинговых кампаний 60% соцсетей также применяют точные координаты.

Таким образом, у платформ формируется несколько параллельных каналов для создания подробных профилей пользователей.

Интересно, что Reddit оказался самым «щадящим»: он не связывает местоположение с личностью пользователя и не собирает точные координаты. TikTok и Reddit ограничиваются лишь грубыми данными.

В противоположность им, X, Instagram (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), Threads, Facebook (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России) и Pinterest отмечены как наиболее настойчивые в сборе геоинформации — в том числе для неясно обозначенных «других целей», что вызывает вопросы о прозрачности.

Проблема доверия

Авторы исследования отмечают явный разрыв между ожиданиями пользователей и фактическими практиками компаний. Даже отключение геолокации не гарантирует полной приватности — платформы находят способы получать данные через косвенные признаки.

Вывод один: сбор и использование геоданных стал повсеместным инструментом соцсетей, а X сегодня занимает первое место по интенсивности и полноте отслеживания. Для пользователей это означает новые вызовы в попытках сохранить личную жизнь под контролем.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru