Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Новая атака в Telegram использует официальную аутентификацию мессенджера

Эксперты зафиксировали новую и довольно изощрённую фишинговую кампанию в Telegram, которая уже активно используется против пользователей по всему миру. Главная особенность атаки в том, что злоумышленники не взламывают мессенджер и не подделывают его интерфейс, а аккуратно используют официальные механизмы аутентификации Telegram.

Как выяснили аналитики компании CYFIRMA, атакующие регистрируют собственные API-ключи Telegram (api_id и api_hash) и с их помощью инициируют реальные попытки входа через инфраструктуру самого мессенджера. Дальше всё зависит от того, как именно жертву заманят на фишинговую страницу.

Всего специалисты наткнулись на два подобных сценария. В первом случае пользователю показывают QR-код в стиле Telegram, якобы для входа в аккаунт. После сканирования кода в мобильном приложении запускается легитимная сессия, но уже на стороне злоумышленника.

Во втором варианте жертву просят вручную ввести номер телефона, одноразовый код или пароль двухфакторной защиты. Все эти данные тут же передаются в официальные API Telegram.

 

Ключевой момент атаки наступает позже. Telegram, как и положено, отправляет пользователю системное уведомление в приложении с просьбой подтвердить вход с нового устройства. И вот тут в дело вступает социальная инженерия. Фишинговый сайт заранее подсказывает, что это якобы «проверка безопасности» или «обязательная верификация», и убеждает нажать кнопку подтверждения.

В итоге пользователь сам нажимает «Это я» и официально разрешает доступ к своему аккаунту. Никакого взлома, обхода шифрования или эксплуатации уязвимостей не требуется: сессия выглядит полностью легитимной, потому что её одобрил владелец аккаунта.

По данным CYFIRMA, кампания хорошо организована и построена по модульному принципу. Бэкенд централизованный, а домены можно быстро менять, не затрагивая логику атаки. Такой подход усложняет обнаружение и блокировку инфраструктуры.

После захвата аккаунта злоумышленники, как правило, используют его для рассылки фишинговых ссылок контактам жертвы, что позволяет атаке быстро распространяться дальше — уже от лица доверенного пользователя.

RSS: Новости на портале Anti-Malware.ru