Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Гарда Deception добавили MiTM-детектор и улучшили работу в филиалах

Компания «Гарда» выпустила обновление своей системы обмана «Гарда Deception». Новая версия предназначена для того, чтобы уменьшить нагрузку на ИТ-подразделения и повысить устойчивость инфраструктуры, а также упростить выявление действий злоумышленников в сетях заказчиков.

Буквально на днях мы обозревали версию Гарда Deception 2.1. Рассказали о ключевых функциональных возможностях, архитектуре, системных требованиях и кейсах использования системы.

Централизованное управление приманками через AD

Главное изменение — поддержка безагентного метода доставки и обновления приманок через групповые политики Microsoft Active Directory (AD GPO).

Это значит, что теперь ИБ-специалисты могут централизованно распространять и обновлять приманки, не вмешиваясь в работу сотрудников. Все обновления выполняются по расписанию и в скрытом режиме, что снижает влияние на пользовательские станции и делает сеть более стабильной.

Новый MiTM-детектор для LLMNR

Чтобы повысить точность выявления атак, в систему добавлен детектор атак на протокол LLMNR. Он способен фиксировать попытки Man-in-the-Middle в широковещательных протоколах, что позволяет отлавливать больше тактик, используемых злоумышленниками на ранних этапах проникновения.

Поддержка распределённых сетей

Для компаний с филиальной структурой появился модуль «Филиал/Branch». Он позволяет ловушкам работать автономно, даже если связь с центральным узлом временно пропадает — мониторинг при этом остаётся непрерывным. Такой режим особенно актуален для организаций с удалёнными офисами и производственными объектами.

Быстрее разбирать инциденты

Теперь события безопасности можно связывать с техниками MITRE ATT&CK прямо внутри «Гарда Deception». Это ускоряет анализ и помогает аналитикам быстрее понимать, какой сценарий атаки разворачивается и какие действия предпринимает злоумышленник.

Более реалистичные ложные персоны

Обновление добавило и новые возможности по созданию фейковых учётных записей. Можно загружать данные из CSV — например, списки отключённых сотрудников — а также использовать регулярные выражения для генерации идентификаторов и добавлять отчества. Чем реалистичнее приманка, тем выше шанс, что злоумышленник взаимодействует именно с ней, а не с реальными активами.

Руководитель продукта «Гарда Deception» Екатерина Харитонова отмечает, что новые функции направлены на повышение точности обнаружения атак и автоматизацию рутинных операций, чтобы сократить нагрузку на команды ИБ и упростить анализ угроз.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru