Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

Мошенники нашли любовь: россиян заманивают в фейковые брачные агентства

Кибермошенники нашли новый способ сыграть на человеческих чувствах. Теперь они активно маскируются под элитные брачные агентства и сервисы знакомств, обещая подобрать идеального партнера с помощью психологических тестов, умных алгоритмов и ручной проверки анкет. На практике же романтика быстро заканчивается потерей денег и личных данных.

Как рассказали «Известиям» эксперты по кибербезопасности, лето традиционно становится благоприятным временем для подобных схем.

Многие люди начинают задумываться о личной жизни, а эмоциональный настрой снижает критичность восприятия. Сценарий обычно выглядит красиво.

Пользователю предлагают зарегистрироваться на сайте знакомств для серьезных отношений, пройти анкетирование и доверить поиск второй половинки искусственному интеллекту. Но за привлекательной витриной могут скрываться мошенники, собирающие персональные данные или выманивающие деньги.

Популярная схема — платный доступ к эксклюзивным кандидатам или гарантия знакомства с человеком мечты. После оплаты жертву могут начать обрабатывать уже от имени потенциального жениха или невесты. В ход идут просьбы помочь деньгами, оплатить лечение, решить семейные проблемы или вложиться в перспективные инвестиции ради общего будущего.

Эксперты предупреждают, что в 2026 году такие схемы станут ещё технологичнее. Для создания правдоподобных профилей злоумышленники уже используют искусственный интеллект, генерируя фотографии, видеосообщения и даже кружочки. Более того, переписку может вести не человек, а чат-бот, который месяцами поддерживает романтический диалог по заранее подготовленному сценарию.

По словам специалистов, современные мошенники всё реже требуют крупные суммы сразу. Вместо этого они предпочитают постепенно завоевывать доверие жертвы, выманивая небольшие переводы на протяжении длительного времени.

Основная группа риска — мужчины и женщины 40-55 лет, особенно пережившие развод и живущие в одиночестве. При этом последствия могут быть не только финансовыми. Жертвы подобных схем нередко сталкиваются с психологическими травмами, шантажом и даже вовлечением в незаконные операции.

Эксперты советуют пользоваться только известными сервисами знакомств, проверять возраст сайтов через Whois, не переходить по подозрительным ссылкам и никогда не переводить деньги людям, знакомым исключительно по интернету.

RSS: Новости на портале Anti-Malware.ru