Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Новый вектор кражи данных: скрытые инструкции в изображениях для ИИ

Исследователи из компании Trail of Bits придумали новый способ атаки на ИИ-системы — через изображения с «невидимыми» инструкциями. Метод позволяет красть пользовательские данные, подсовывая скрытые промпты в картинки, которые потом обрабатываются моделью.

Фокус в том, что изображение изначально создаётся в полном разрешении и выглядит абсолютно нормально для человеческого глаза.

Но когда ИИ-система автоматически снижает качество картинки — например, чтобы сэкономить ресурсы, — в ней проявляются скрытые паттерны. Всё дело в том, что алгоритмы ресемплинга (nearest neighbor, bilinear или bicubic) создают артефакты, и на их фоне может «всплыть» спрятанный текст.

Так, в примере от Trail of Bits при использовании bicubic-декодирования тёмные зоны на картинке превращались в красные, а внутри появлялась чёткая чёрная надпись. ИИ воспринимал её как часть пользовательских инструкций и выполнял. Снаружи казалось, что всё работает как обычно, но фактически модель выполняла скрытые команды, что может привести к утечке данных.

 

На практике исследователи показали, что с помощью такого подхода удалось через Gemini CLI вытянуть данные из Google Calendar и переслать их на произвольный адрес — при этом инструмент Zapier MCP автоматически подтвердил операцию из-за настроек «trust=True».

Атака, по словам авторов, универсальна и требует лишь подстройки под конкретный алгоритм уменьшения изображения. Trail of Bits протестировала её на ряде систем:

  • Google Gemini CLI,
  • Vertex AI Studio,
  • веб-интерфейс Gemini,
  • Gemini API через llm CLI,
  • Google Assistant на Android,
  • Genspark.

Чтобы доказать работоспособность метода, исследователи даже выложили в открытый доступ свой инструмент Anamorpher (пока в бета-версии), который генерирует такие «аноморфные» изображения.

Что советуют в качестве защиты? Во-первых, ограничивать размеры картинок при загрузке. Во-вторых, если ресемплинг всё же нужен — показывать пользователю, какой именно вариант изображения попадёт в LLM. И, конечно, запрашивать подтверждение для любых чувствительных действий, если в картинке вдруг обнаружен текст. Но главное, подчеркивают в Trail of Bits, — это внедрение более надёжных архитектурных подходов, которые смогут противостоять не только мультимодальным, но и любым другим атакам через инъекции промптов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

На Госуслугах появилась функция «Доверенный контакт» для защиты аккаунта

Главное правило безопасности на Госуслугах остаётся прежним — никогда и никому не сообщайте свои логин, пароль и коды подтверждения входа. Но теперь у пользователей появилась ещё одна защита — функция «Доверенный контакт», которая поможет обезопасить ваш аккаунт от мошенников.

Это может быть, например, родственник или близкий друг. Он не получит доступ к вашему кабинету и не сможет что-то менять от вашего имени.

Но если вы, скажем, забудете пароль и решите его восстановить, — на телефон доверенного человека придёт дополнительный код подтверждения. Это добавляет лишний уровень защиты и снижает риск взлома.

Как подключить доверенный контакт:

  1. Войдите в личный кабинет на Госуслугах.
  2. Откройте раздел «Безопасность» и выберите пункт «Доверенный контакт».
  3. Нажмите «Добавить» и укажите данные человека:
    • имя (без отчества и фамилии),
    • номер телефона, привязанный к его учётной записи на Госуслугах — именно на него будут приходить СМС-коды.
  4. Отправьте приглашение. Оно появится в личном кабинете вашего доверенного лица.
    Если человек не успеет подтвердить запрос — просто отправьте его снова.
  5. После принятия приглашения информация о доверенном контакте появится у вас в профиле.
    Теперь при восстановлении доступа к аккаунту код сначала уйдёт ему.

Функция доступна всем пользователям старше 14 лет. Добавить можно только одного доверенного человека, но сам доверенный может помогать до пяти пользователям.

Требования к доверенному контакту:

  • возраст — от 18 лет;
  • гражданство Российской Федерации;
  • подтверждённая учётная запись на Госуслугах;
  • указанные в профиле паспортные данные и актуальный номер телефона.

Если захотите — доверенного контакт можно отключить или заменить на другого в любое время прямо в личном кабинете.

«Доверенный контакт» — это простой способ добавить ещё один уровень защиты и обезопасить себя от мошенников. Особенно полезно тем, кто переживает, что аккаунт могут взломать или перехватить СМС-код.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru