Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Мосгорсуд отменил запрет ЯПлакалъ

Мосгорсуд отменил запрет сайтов «ЯПлакалъ», «АнекдотовСтрит» и «Анекдотов.net». Суд вышестоящей инстанции удовлетворил апелляции, поданные Роскомнадзором и первым заместителем прокурора Москвы. Первоначальное решение было вынесено по обращению межрайонной прокуратуры.

Ресурсы обвинялись в распространении материалов, унижающих человеческое достоинство, а также направленных на разжигание национальной и расовой розни.

Чертановский суд Москвы вынес решение о запрете трёх ресурсов ещё 23 апреля, однако обнародовано оно было только 6 мая.

Это решение вызвало широкий резонанс. Руководство «ЯПлакалъ» в комментарии для «Газеты.Ru» заявило, что никаких претензий от властей к площадке не поступало, а сам запрет там встретили «с недоумением».

Роскомнадзор, однако, обратил внимание, что в решении суда не были указаны конкретные материалы и их сетевые адреса, содержащие незаконный контент. В результате ведомство не включило эти ресурсы в реестр запрещённых материалов, и сайты продолжили открываться. Кроме того, сетевой адрес «Анекдотов.net» в решении суда был указан с ошибкой.

Сегодня РИА Новости со ссылкой на источники сообщило, что прокуратура Москвы внесла апелляционное представление на решение Чертановского суда о запрете сайтов. По данным источника Lenta.ru в судебной системе, также не удалось обнаружить заключения экспертизы, на основании которого было принято решение о запрете ресурсов.

Позднее Мосгорсуд удовлетворил апелляции первого заместителя прокурора Москвы и Роскомнадзора, отменив решение Чертановского районного суда:

«Судебной коллегией по административным делам Московского городского суда решение суда первой инстанции отменено и принято новое решение, которым Чертановскому межрайонному прокурору в удовлетворении исковых требований отказано».

RSS: Новости на портале Anti-Malware.ru