Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Число фишинговых инцидентов в доменах .RU/.РФ снизилось на 40%

С начала 2025 года Координационный центр доменов .RU/.РФ получил 13 850 обращений, связанных с фишингом. Это на 1,6 раза меньше по сравнению с аналогичным периодом 2024 года, когда поступило 23 274 обращения. До этого количество подобных сообщений стабильно росло.

Максимальный — четырёхкратный — рост числа обращений по поводу фишинга был зафиксирован в первом полугодии 2023 года. Также снизилась доля фишинга среди всех инцидентов: если в 2024 году на него приходилось 89% обращений, то в 2025 году — уже 64%.

С начала года участники проекта «Доменный патруль» заблокировали более 13,5 тыс. фишинговых доменов. Для сравнения, за первое полугодие 2024 года было заблокировано 22,6 тыс. доменов. Среднее время реагирования составило 15 часов — это один из лучших показателей по скорости блокировки в мире.

По мнению директора Координационного центра Андрея Воробьёва, снижение активности фишинга связано с тем, что злоумышленники всё чаще переходят к более сложным схемам, основанным на использовании вредоносных программ:

«О фишинге сегодня знает практически каждый пользователь, и многие научились его распознавать. А вредоносы действуют гораздо скрытнее. Они могут попасть на устройство через заражённые приложения, файлы или ссылки — и при этом не вызвать подозрений. Получив доступ, злоумышленники используют устройство для новых атак или кражи личных и финансовых данных. Эти схемы менее заметны и потому более опасны».

Также, как отметил Андрей Воробьёв, важную роль сыграла скоординированная работа участников «Доменного патруля». Благодаря высокой скорости реакции киберпреступникам приходится переносить активность в другие доменные зоны, где контроль менее жёсткий.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru