Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

ScanFactory выходит на рынок ИИ-фаерволов с решением Prizma

ScanFactory представила новый продукт Prizma — решение для контроля и защиты корпоративной ИИ-инфраструктуры. Продукт позволяет компаниям безопасно использовать LLM и ИИ-агентов, контролируя данные, доступы, расходы и взаимодействие с внешними ИИ-сервисами.

Корпоративное использование искусственного интеллекта быстро растет: сотрудники подключают публичные LLM, команды внедряют ИИ-агентов и RAG-системы, а количество обращений к различным моделям увеличивается. Вместе с этим у компаний появляется новый класс рисков — от утечек конфиденциальных данных до неконтролируемого теневого AI.

Prizma работает как единая точка контроля между пользователями, корпоративными системами и ИИ-провайдерами. Решение анализирует запросы и ответы в реальном времени и позволяет централизованно управлять тем, как внутри компании используется искусственный интеллект.

Что умеет Prizma

Контролировать потребление токенов — учитывать использование моделей и расходы на ИИ у разных провайдеров из единой точки.

Защищать от AI-атак — выявлять и блокировать prompt injection и другие классы атак, включая угрозы из OWASP LLM Top 10.

Предотвращать утечки данных — находить и маскировать конфиденциальную информацию в запросах к ИИ и ответах моделей.

Автоматически блокировать опасные запросы на основе заданных политик безопасности.

Управлять ИИ-агентами с помощью ролевой модели и графа их взаимодействий.

Логировать и аудитировать обращения к ИИ, обеспечивая прозрачность использования моделей внутри компании.

Не только защита запросов

Отдельное внимание в Prizma уделено рискам, которые возникают при построении собственной ИИ-инфраструктуры.

Решение позволяет защищать RAG-системы, обнаруживая секреты и чувствительную информацию в используемых файлах, а также выявлять теневые AI — несанкционированное использование ИИ-сервисов внутри инфраструктуры компании.

Для критических сценариев предусмотрен kill switch на основе ролевой модели, позволяющий оперативно ограничить работу отдельных ИИ-агентов или цепочек взаимодействия.

Таким образом, Prizma формирует единый уровень безопасности между корпоративной инфраструктурой и ИИ — от публичных LLM до внутренних моделей, RAG-систем и автономных агентов.

С выходом Prizma ScanFactory расширяет направление кибербезопасности и выходит в новый для компании сегмент — защиту корпоративной ИИ-инфраструктуры.

Записаться на демонстрацию продукта и запросить сравнение по 83 пунктам можно по почте: info@sf-cloud.ru

Реклама, 18+. ООО «СканФэктори» ИНН 7727458406
ERID: 2Vfnxw2mxV1

RSS: Новости на портале Anti-Malware.ru