Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Владельцев сайтов избавили от необходимости маркировки ИИ-контента

Из законопроекта о регулировании искусственного интеллекта (ИИ), разработанного Минцифры, убрали требование о маркировке контента, сгенерированного нейросетевыми инструментами, для владельцев онлайн-площадок. Это положение вызывало резкую критику со стороны маркетплейсов и крупных цифровых платформ.

В первоначальной версии законопроекта Минцифры владельцы онлайн-площадок должны были маркировать контент, созданный с помощью ИИ.

Маркировка должна была включать два элемента: видимое обозначение, отображаемое при просмотре или воспроизведении, а также машиночитаемую метку в метаданных.

По оценке АНО «Цифровая экономика», участниками которой являются многие цифровые платформы, выполнение этой нормы потребовало бы от владельцев онлайн-площадок фактически ручной модерации контента. Автоматизированных инструментов, которые позволяют с достаточной достоверностью выявлять такой контент без участия человека, пока нет. Это привело бы к значительным затратам.

Директор по стратегическим проектам Института исследований интернета Ирина Левова в комментарии для «Известий» сравнила целесообразность такой нормы с требованием маркировать музыку, исполненную на синтезаторе:

«Тратить огромные деньги на определение способа создания контента, который сам по себе не обязательно плох или хорош, бессмысленно. В законопроекте осталась обязанность платформ предоставить пользователям возможность сообщить, что при его создании использован ИИ. Такая модель стимулирует нормальный ответственный подход пользователей».

В RWB (Wildberries & Russ) газете назвали такую маркировку не имеющей практической ценности. По мнению компании, она могла бы усложнить пользовательский опыт и снизить удовлетворённость пользователей сервисами. Кроме того, подобные меры могут создать необоснованные барьеры для уже внедрённых решений и в целом замедлить развитие технологий ИИ.

Эксперт НТИ по технологиям ИИ Леонид Дробышевич также отметил, что необходимость маркировки порождает много вопросов, на которые не всегда можно дать однозначные ответы:

«Например, считать ли ИИ-контентом текст, который человек написал сам, но исправил с помощью нейросети? Или видео, где ИИ использовался только для шумоподавления и монтажа? Без чётких технологических критериев платформы были бы вынуждены либо модерировать с запасом, удаляя сомнительные материалы, либо массово игнорировать нарушения. Оба сценария создают риски, например чрезмерной цензуры и недовольства пользователей».

«Мера была смягчена по итогам обсуждения законопроекта с бизнес-сообществом, — прокомментировали «Известиям» в аппарате вице-премьера Дмитрия Григоренко. — Согласно текущей версии документа, обязанность по машиночитаемой маркировке аудиовизуального контента, сгенерированного с помощью ИИ, лежит на владельцах ИИ-сервисов, а конкретные случаи обязательной маркировки будут определяться правительством».

В целом, как отметил источник издания, близкий к правительству, целью поправок было снижение нагрузки на бизнес. По данным другого источника, финальный вариант законопроекта планируется внести в Госдуму до середины июля.

RSS: Новости на портале Anti-Malware.ru