Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Security Vision выпустила продукт для управления персональными данными

Security Vision представила продукт «Управление персональными данными». Он предназначен для компаний, которые обрабатывают ПДн и должны поддерживать порядок в связанных с этим процессах, документах и требованиях регуляторов.

Решение помогает вести реестр информационных систем персональных данных, фиксировать процессы обработки ПДн, определять уровень защищённости, моделировать угрозы и формировать документы по требованиям законодательства.

Продукт учитывает положения 152-ФЗ «О персональных данных», постановления правительства № 1119 и приказа ФСТЭК № 21. То есть закрывает базовые регуляторные вопросы, с которыми сталкиваются операторы ПДн.

В системе можно описывать процессы обработки персональных данных и сами ИСПДн. Данные собираются через опросные листы для ответственных сотрудников или загружаются из уже имеющихся материалов. Для каждой системы указываются цели обработки, правовые основания, категории субъектов, состав персональных данных и действия с ними.

На основе этих сведений продукт рассчитывает уровень защищённости ПДн для каждой ИСПДн и формирует базовый набор мер защиты. Эти меры можно адаптировать под конкретную систему и требования организации.

Отдельный блок связан с моделированием угроз. Оно может выполняться по методике ФСТЭК России. В продукте предусмотрены два подхода: через группы угроз и способы их реализации, а также через общий перечень угроз, сценариев, тактик и техник.

Кроме того, Security Vision «Управление ПДн» позволяет проводить оценку соответствия требованиям безопасности. Для этого заполняется информация о текущем состоянии защиты, при необходимости опросные листы можно делегировать профильным специалистам. По итогам формируется список нереализованных требований, после чего можно подготовить план мероприятий и задачи.

В продукте также предусмотрен учёт согласий субъектов ПДн, отзывов согласий и обращений. Запросы фиксируются в журнале с указанием сроков исполнения и ответственных исполнителей.

Ещё одна часть функциональности — учёт машинных носителей с ПДн, средств защиты и инцидентов, связанных с персональными данными.

По итогам работы система формирует пакет документации на основе шаблонов. При необходимости документы можно адаптировать под локальные требования организации. Текущее состояние процессов и основные метрики отображаются на дашбордах.

RSS: Новости на портале Anti-Malware.ru