Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Корпоративный бумеранг: основатель WordPress пережил попытку переворота

В Automattic случился корпоративный переворот со скоростью ситкома. 9 сентября совет директоров отправил основателя и гендиректора Мэтта Малленвега в принудительный оплачиваемый отпуск. Спустя два дня он вернулся к управлению, а теперь прежний состав совета сам покидает компанию.

Решение об отстранении Малленвега поддержали трое из четырёх директоров. Сам основатель проголосовал против.

По данным СМИ, резолюцию он получил всего за 50 минут до заседания и не успел проконсультироваться с юристами. Временным гендиректором назначили финансового директора Марка Дэвиса.

Малленвег отказался признавать поражение, удалил других администраторов из корпоративного Slack и сообщил сотрудникам, что снова руководит компанией. Свой новый статус он описал коротко: «Теперь я пират».

Уже в пятницу основатель заявил, что совет снова пришёл к согласию, а руководство WordPress публично поддержало его возвращение. The Verge подтвердил, что двухдневная ссылка закончилась.

Секрет такого камбэка оказался в корпоративном праве. Совет директоров действительно может снять гендиректора, но состав самого совета определяют акционеры.

Малленвег контролирует достаточно голосов, чтобы переизбрать директоров, решивших его отстранить. В итоге попытка дворцового переворота развернулась на 180 градусов: по данным TechCrunch, прежний совет теперь уходит.

Почему директора начали операцию, не обеспечив поддержку акционеров, пока неизвестно. Возможно, они переоценили собственные позиции или рассчитывали на союзников.

RSS: Новости на портале Anti-Malware.ru