Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Воры охотятся за разблокированными iPhone: они стоят на $800 дороже

В крупных городах всё чаще крадут iPhone прямо из рук; обычно на ходу, с самокатов или электровелосипедов. Схема простая и дерзкая: подъехать, выхватить смартфон у прохожего и скрыться, пока владелец ещё пытается понять, что вообще произошло.

Главная цель таких краж — не просто сам iPhone, а именно разблокированный iPhone.

По данным Wired, такой аппарат может стоить для преступников на сотни долларов дороже заблокированного. Если обычный украденный смартфон с блокировкой оценивают примерно в $50–200, то разблокированный может стоить $500 или даже $1000.

Причина понятна: открытый телефон — это не просто железка, а потенциальный доступ к личным данным, перепискам, почте, платёжным сервисам и банковским приложениям. Да, финансовые приложения обычно требуют Face ID или пароль, но мошенники не сидят сложа руки: они запускают фишинговые атаки и пытаются выманить логины, пароли и код доступа к устройству.

В Лондоне проблема уже достигла промышленных масштабов. Во время одной из операций полиция задержала 230 человек и изъяла больше тысячи украденных телефонов всего за неделю. Раньше преследования на улицах ограничивали из-за риска для самих воров, но затем подход ужесточили: полицейским разрешили применять тактический контакт, фактически сбивая преступников с байков.

Отдельный бизнес вырос вокруг фишинга. Покупатели украденных iPhone используют поддельные страницы Apple Find My, чтобы заставить владельца ввести код доступа. Если жертва клюёт, преступники могут снять Activation Lock и продать устройство уже как рабочее.

Для этого применяются целые наборы фишинговых инструментов: сервисы формата «Find My iPhone Off», генераторы поддельных страниц Apple, скрипты и даже ИИ-звонки. Исследователи также обнаружили ПО iRealm, которое создаёт фишинговые ссылки и страницы под сервисы Apple. Такие инструменты продаются по модели pay-per-use — украл, оплатил, обманул, перепродал.

Часть подобных сервисов продвигалась через телеграм-каналы. После обращения журналистов Telegram удалил несколько групп, рекламировавших такие инструменты.

RSS: Новости на портале Anti-Malware.ru