Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Новые AirTag всё ещё легко превратить в инструмент скрытой слежки

Исследователь и техноблогер Адриан Кингсли-Хьюз решил проверить, изменила ли Apple что-нибудь в защите AirTag от физического вмешательства. По его словам, новые версии трекеров по-прежнему крайне легко модифицировать, а самую популярную «доработку» — отключение встроенного динамика — можно выполнить буквально за пару минут.

Кингсли-Хьюз признаётся, что сам активно использует AirTag и считает их лучшими Bluetooth-метками на рынке: они не раз спасали его от потерянных ключей и лишних нервов в поездках.

Но у этой медали есть и обратная сторона. Несмотря на меры Apple и Google против слежки, на рынке по-прежнему массово продаются модифицированные трекеры, чаще всего с отключённым динамиком. А «тихий» AirTag гораздо проще использовать для скрытого отслеживания людей.

Чтобы проверить, усложнила ли Apple жизнь таким умельцам, исследователь купил упаковку новых AirTag и вскрыл один из них, причём намеренно без специальных инструментов — только с обычным спуджером.

 

Результат оказался показателен: корпус поддался без особых усилий, динамик был выведен из строя за считаные минуты, а сам трекер затем так же легко собрался обратно. После установки батарейки AirTag «ожил» — полностью рабочий, но уже без звука.

 

Весь процесс, от распаковки до финального теста, занял около двух минут. По словам Кингсли-Хьюза, новые AirTag не только не стали сложнее для вскрытия, но субъективно ощущаются даже более «дружелюбными» к разбору, чем предыдущие версии.

 

При этом он отмечает, что Apple всё ещё может закрыть эту лазейку программно. Например, через обновление прошивки, которое будет отслеживать ток на динамике и определять ситуацию, когда звук должен воспроизводиться, но физически этого не происходит. В таком случае модифицированные AirTag можно было бы автоматически блокировать или выводить из строя.

RSS: Новости на портале Anti-Malware.ru