Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Positive Education запускает программу для CISO нового уровня

Центр практического обучения Positive Education объявил о запуске новой программы для директоров по информационной безопасности. Курс «CISO 3.0: управление на уровне бизнеса» рассчитан на руководителей, которым уже недостаточно разбираться только в технологиях защиты — теперь от них ждут понимания бизнеса, финансов и стратегии.

Поводом для появления программы стали результаты совместного исследования Positive Education, SuperJob и консалтинговой компании the Edgers.

Оно показало, что лишь 25% генеральных директоров высоко оценивают компетенции своих CISO. Главные претензии — слабые управленческие навыки и недостаточное понимание бизнес-процессов. В результате вопросы кибербезопасности нередко остаются вне стратегической повестки компании.

Организаторы отмечают, что большинство существующих программ для CISO по-прежнему сосредоточены на нормативных требованиях и технических аспектах защиты. Однако рынок всё чаще требует другого: умения говорить с руководством на языке бизнеса, оценивать киберриски в денежном выражении и аргументированно обосновывать инвестиции в безопасность.

Программа состоит из трёх модулей, посвящённых стратегии кибербезопасности, бизнес-мышлению и управлению изменениями. Помимо лекций участников ждут практические задания, дискуссии с приглашёнными экспертами и работа над собственным проектом. В финале каждый должен будет защитить стратегию кибербезопасности своей организации перед отраслевыми экспертами.

Среди заявленных спикеров — сооснователь Positive Technologies и фонда «Сайберус» Юрий Максимов, бизнес-консультант Алексей Лукацкий, независимый директор Наталья Воеводина, а также специалисты в области финансового управления и организационных изменений.

Очная программа стартует 11 сентября в Москве и продлится восемь недель. Она ориентирована на действующих руководителей ИБ и CIO, которым необходимо встроить вопросы кибербезопасности в систему управления компанией, а не только в работу ИТ-подразделения.

RSS: Новости на портале Anti-Malware.ru