Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Подпишитесь на новости

Ростелеком призвал создавать ЦОДы судного дня

Сложить всё в несколько больших дата-центров было удобно и выгодно. Пока по ним не начали прилетать беспилотники. Теперь российским компаниям нужны резервные площадки для восстановления сервисов — ЦОДы судного дня.

Об этом на форуме РБК Tech заявил зампред правления «Ростелекома» Валерий Ермаков, сообщает РБК.

По словам Ермакова, прежнюю инфраструктуру строили прежде всего ради экономической эффективности: ключевые сервисы концентрировали на нескольких площадках. Но модель угроз изменилась. То, что недавно выглядело немыслимым сценарием, теперь приходится включать в планы восстановления.

Ответ — распределять сервисы между большим количеством площадок, разносить их географически и резервировать мощности. Ермаков называет такой подход микросотовой архитектурой.

Проще говоря, экономия на централизации уступает место вопросу: «А что останется работать, если эта площадка отключится?»

Однако разнести серверы мало — их ещё нужно связать быстрыми каналами. И здесь, по оценке топ-менеджера, назревает следующая проблема: российские магистральные сети перегружены, а значительная часть оптики проложена 20-30 лет назад.

Ермаков предупредил о возможном дефиците магистральных ресурсов и представил линию «Ростелекома» TEA NEXT от Калининграда до Монголии как источник дополнительных мощностей.

Напомним, после октябрьских атак остановились три ЦОДа «Яндекса» — в Сасове, Калуге и Владимире. Сбои затронули как сервисы компании, так и клиентов Yandex Cloud. Яндекс договорился с другими облачными провайдерами об ускоренном переносе клиентских данных и сервисов.

Название «ЦОД судного дня» звучит как маркетинг для апокалипсиса, но задача у него проще: чтобы после потери площадки бизнесу было откуда восстановиться.

RSS: Новости на портале Anti-Malware.ru