Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Расширения Chrome подсовывают зловреды под видом критических обновлений

Пользователи браузеров на базе Chromium столкнулись с настойчивыми всплывающими окнами, требующими срочно обновить Chrome. За убедительным предупреждением может скрываться скомпрометированное расширение, которое вместо апдейта загружает на компьютер подозрительный VBS-сценарий или EXE-файл.

Сообщения «Critical Update Required» и «Update available» появляются прямо во время просмотра сайтов.

После нажатия кнопки пользователь получает не новую версию браузера, а файл, который ещё нужно самостоятельно запустить.

Проблема замечена не только в Chrome. На такие же окна жалуются владельцы Brave и Opera, причём им тоже предлагают обновить браузер Google. Этот небольшой сценарный ляп и выдаёт подделку.

 

 

Источником всплывающих окон становятся расширения, которые динамически загружают вредоносные сценарии с внешних серверов. Поэтому полное сканирование компьютера антивирусом может ничего не показать: сам браузер не заражён, а опасный файл появляется только после действий пользователя.

Ранее подобную активность связывали с дополнением QuickLens — Search Screen with Google Lens, которое впоследствии удалили из Chrome Web Store. В новых сообщениях пользователи называют Enable Right Click & Copy Smart Unlock + OCR и другие небольшие утилиты.

 

На момент публикации это расширение оставалось в магазине, собрало около 70 тыс. установок и рейтинг 4,7 из 5. Звёздочки, как выясняется, от внезапной смены хозяина не защищают.

Злоумышленники могут выкупить популярное легитимное расширение или получить контроль над аккаунтом разработчика, а затем распространить обновление с новым поведением.

При появлении подозрительных окон не следует загружать и запускать предложенные файлы. Проверять обновления нужно через встроенное меню браузера. Если реклама возвращается, стоит отключать расширения по одному, начиная с недавно установленных и малоизвестных.

RSS: Новости на портале Anti-Malware.ru