Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Apple фактически вынуждает пользователей iPhone обновляться до iOS 26

На прошлой неделе Apple выпустила iOS 26.2 с важными патчами. Одновременно Apple формально выкатила и iOS 18.7.3 — для тех, кто по разным причинам не хочет или не может переходить на новую версию системы. Но, как выяснилось, на практике всё работает не так гладко.

Журналист Six Colors Джейсон Снелл обратил внимание, что часть владельцев iPhone вообще не видит обновление iOS 18.7.3. Вместо него система настойчиво предлагает сразу установить iOS 26.2 — без альтернатив.

Проблема касается пользователей, которые:

  • сознательно остались на iOS 18,
  • при этом используют iPhone, способный работать с iOS 26 (например, iPhone 11 и новее).

Для них в разделе «Обновление ПО» доступен только апдейт до iOS 26.2. Обновление iOS 18.7.3, которое закрывает те же самые уязвимости WebKit (в том числе используемые в реальных атаках), просто не появляется.

Фактически это выглядит так, будто Apple ставит пользователей перед выбором: либо обновляться на iOS 26, либо оставаться на старой версии системы без актуальных патчей.

Многие сознательно не спешат с крупными обновлениями. Причины могут быть разными:

  • не нравится новый дизайн (привет, Liquid Glass),
  • есть опасения за совместимость приложений,
  • банальное желание «переждать» первые месяцы после релиза.

Как справедливо отмечает Снелл, таким пользователям не должно приходиться выбирать между безопасностью и обновлением на систему, к которой они не готовы.

Временное решение всё-таки нашли. Некоторые пользователи сообщают, что:

  • нужно записаться в публичную бета-программу Apple,
  • выбрать ветку iOS 18,
  • после этого система предлагает установить iOS 18.7.3.

Правда, выглядит это странно: подключаться к бета-программе ради обычных патчей — так себе компромисс.

Интересно, что официальная страница Apple с описанием апдейтов указывает iOS 18.7.3 как доступную только для устройств, которые не поддерживают iOS 26. Это наводит на мысль, что либо:

  • Apple сознательно ограничила обновление для «старой» ветки,
  • либо в системе распространения апдейтов возник баг.

Пока Apple ситуацию не комментирует.

RSS: Новости на портале Anti-Malware.ru