Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Устройство размером с монету может подменять данные в авионике Boeing 737

Исследователи из Калифорнийского университета в Сан-Диего и Оберлинского колледжа создали миниатюрное устройство, способное вмешиваться в обмен данными между системами Boeing 737. Гаджет подключается к диагностическому порту самолёта и помещается под обычной пылезащитной крышкой, поэтому заметить незваного пассажира во время стандартного осмотра непросто.

Порт расположен в одном из двух отсеков электронного оборудования возле ниши передней стойки шасси.

Обычно механики используют его для проверки авионики, но исследователи выяснили, что через него можно подключиться к шине связи между многофункциональным пультом MCDU в кабине и бортовым вычислителем FMC.

Устройство способно перехватывать, изменять и подделывать передаваемые команды. В лабораторном эксперименте учёные меняли показания температуры наружного воздуха, массу самолёта и параметры маршрута.

Ошибочные данные могут повлиять на расчёт необходимой тяги при взлёте или постепенно увести лайнер с заданного курса.

Исследователи также подключили устройство к интернету через бортовой Wi-Fi, продемонстрировав возможность удалённого взаимодействия после физической установки. Именно физический доступ остаётся важным условием атаки: незаметно подключить гаджет к Boeing из домашнего кресла не получится.

Кроме того, изменение данных FMC само по себе не означает неизбежную катастрофу. Пилоты обучены работать с противоречивыми показаниями, расчёты взлётных характеристик дополнительно проверяются на электронных планшетах, а отклонение от маршрута заметят независимые приборы и диспетчеры.

Boeing считает существующие уровни защиты достаточными для серьёзного ограничения практической осуществимости атаки. Исследователи предлагают закрыть сервисный порт, лучше изолировать электрические системы и внедрить криптографическую проверку команд.

RSS: Новости на портале Anti-Malware.ru