Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Энтузиаст запустил чат-бот на процессоре Z80 1976 года

Легендарный процессор Zilog Z80, которому в этом году почти 50 лет, внезапно получил собственный «ИИ». Разработчик под ником HarryR представил проект Z80-μLM — крошечную «разговорную модель», которая реально работает на 8-битном Z80 с 64 КБ памяти.

Сразу расставим точки над i: тест Тьюринга этот ИИ не пройдёт, мир не захватит и цены на Z80 из-за него не взлетят. Сам автор честно говорит, что это эксперимент и «развлечение для души». Но эксперимент крайне изящный, именно этим он и цепляет.

Z80-μLM — это минималистичная «разговорная ИИ-модель», которая генерирует ответы посимвольно. Вся система, включая инференс и простой чат-интерфейс, уместилась примерно в 40 КБ. Для наглядности: это обычный .COM-файл, который спокойно запускается в CP/M и помещается в стандартную область памяти TPA.

Внутри сплошная инженерная магия старой школы. Никаких чисел с плавающей точкой, только целочисленная арифметика, заточенная под возможности Z80. Веса квантованы до 2 бит (значения от −2 до +1), четыре веса упакованы в один байт.

Входной текст кодируется через хеширование триграмм в 128 «корзин» — это делает модель устойчивой к опечаткам и нечувствительной к порядку слов. Всё максимально просто, жёстко и эффективно.

HarryR подчёркивает, что его цель была не «ум», а минимальный размер при сохранении ощущения характера. И, как ни странно, это работает. Ответы у чат-бота короткие, иногда нарочито сухие или уклончивые:

  • OK — нейтральное подтверждение,
  • WHY? — сомнение в вашем вопросе,
  • R U? — философский ответ с намёком,
  • MAYBE — честная неопределённость,
  • AM I? — вопрос в ответ.

Из-за этой лаконичности общение превращается в своеобразную игру: приходится угадывать, «понял» ли бот вопрос, и достраивать смысл самому. И тут невольно ловишь себя на мысли, что мозг начинает приписывать этой кучке байтов некую личность. Или это просто классическая человеческая склонность к антропоморфизму — вопрос открытый.

В проекте есть два готовых примера. Первый — Tinychat, простой чат-бот, который отвечает на приветствия и вопросы о себе. Второй — Guess, вариация игры «20 вопросов», где модель загадывает нечто, а пользователь пытается это угадать. Оба варианта доступны в виде готовых бинарников: для CP/M — стандартные .COM-файлы, для ZX Spectrum — .TAP-образы кассет, которые можно загрузить в эмулятор или даже на реальное железо.

Отдельная ирония ситуации в том, что Z80 как раз недавно официально отправили «на пенсию». В апреле 2024 года Zilog объявила о прекращении поддержки чипа (PDF) из-за закрытия производства на стороне фабрики. Правда, почти сразу энтузиасты взялись за замену, и в рамках проекта Tiny Tapeout появился рабочий совместимый клон.

RSS: Новости на портале Anti-Malware.ru