Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Банки Беларуси предотвратили 31 тыс. мошенничеств благодаря AntiFraud Club

Российский разработчик F6 сообщил о масштабном расширении AntiFraud Club — профессионального сообщества, которое объединяет банки Беларуси для совместной борьбы с финансовыми мошенниками. В основе работы клуба лежит технология F6 Fraud Protection, позволяющая организациям обмениваться данными об инцидентах и координировать действия в реальном времени.

AntiFraud Club стартовал в Минске в марте 2024 года с участием шести банков. Спустя полтора года сообщество выросло в несколько раз.

На ноябрьской встрече среди участников были: «Альфа-Банк» (ЗАО), «Белагропромбанк», «Банк БелВЭБ», «Белгазпромбанк», «МТБанк», «Нео Банк Азия», «Приорбанк», «СтатусБанк», «Технобанк» и партнёр F6 — «Позитив Вью».

Главная задача клуба — совместно выявлять новые мошеннические схемы, обмениваться инцидентами и внедрять защитные решения.

По оценкам F6, только в 2025 году участники AntiFraud Club предотвратили свыше 31 200 мошеннических попыток, связанных с дистанционным банковским обслуживанием. Чаще всего пользователей атакуют через:

  • распространение зловредов (включая CraxsRAT и NFCGate);
  • инвестскам;
  • фальшивые розыгрыши от имени банков;
  • взлом аккаунтов в мессенджерах;
  • фейковые компенсации и мошеннические опросы.

Отдельно эксперты отмечают рост атак с использованием таких зловредов, как CraxsRAT и NFCGate. Аналогичная тенденция наблюдалась и в России: только в феврале 2025 года число заражений CraxsRAT выросло в 2,5 раза и превысило 22 тысячи скомпрометированных Android-устройств.

Главный канал распространения зловредов остаётся прежним — социальная инженерия. Поддельные приложения маскируются под сервисы мобильных операторов, платёжные платформы, VPN, приложения для знакомств или коммунальных услуг. Жертвы устанавливают их по ссылкам из мессенджеров или из неофициальных источников.

Директор департамента розничных рисков «Альфа-Банка» Владимир Короб отмечает, что масштабы и скорость эволюции мошенничества требуют объединения усилий:

«Современные мошенники действуют глобально. ИИ, большие данные, поддельные сервисы — всё это уже реальность. Поэтому важны не только технологии, но и партнёрство. Мы работаем с разработчиками, регулятором, правоохранителями и AntiFraud Club, чтобы сделать платежи максимально надёжными».

Руководитель направления F6 Fraud Protection Дмитрий Ермаков подчёркивает, что эффект от объединения уже заметен:

«Благодаря координации и обмену инцидентами банки Беларуси значительно усилили защиту клиентов. Решения F6 и совместный анализ схем позволяют быстрее реагировать на атаки и снижать риски».

AntiFraud Club продолжает расширяться, а участники готовят новые форматы сотрудничества в борьбе с мошенничеством.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru