Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

19-летнего британца обвинили в атаках Scattered Spider на суды США

Минюст США раскрыл обвинения против 19-летнего жителя Восточного Лондона Талхи Джубайра. По версии следствия, он причастен как минимум к 120 кибератакам, в том числе на систему судов США. Общий ущерб оценивается более чем в $115 млн.

Джубайра арестовали 17 сентября в его доме, сообщило Национальное агентство по борьбе с преступностью (NCA).

В тот же день в Лондоне перед судом предстал и его предполагаемый сообщник — 18-летний Оуэн Флауэрс. Их обвиняют в атаке на ИТ-систему Transport for London в 2024 году, после которой транспортное ведомство несколько месяцев восстанавливало работу.

По данным NCA, за атакой стояла группировка Scattered Spider — англоязычная команда молодых хакеров, известная агрессивными методами социальной инженерии и связями с криминальным сообществом «the Com».

Что известно о действиях Джубайра:

  • В июле 2024 года ФБР изъяло серверы, которые, как утверждается, он контролировал. Там нашли следы взлома более 120 компаний, включая 47 в США.
  • Среди жертв был объект критической инфраструктуры в Нью-Джерси, а также сама система судов США.
  • В январе 2025 года хакеры через техподдержку получили доступ к трем аккаунтам, включая учетку федерального судьи. С их помощью искали данные о Scattered Spider и даже отправили фальшивый запрос в финкомпанию, чтобы выманить пользовательские данные.
  • На сервере обнаружили криптокошелёк примерно с $36 млн, из которых $8,4 млн удалось вывести уже в момент изъятия.

Сейчас оба подростка находятся под арестом, их ждёт новое судебное заседание. Будет ли США добиваться экстрадиции Джубайра, пока неизвестно.

Ранее мы писали, что в США вынесли приговор одному из ключевых участников кибергруппы Scattered Spider — 25-летнему Ноа Майклу Урбану. Суд назначил ему 10 лет лишения свободы и обязал выплатить $13 млн компенсации жертвам.

А в апреле суд Флориды заслушал заявление Ноя Урбана (Noah Michael Urban) о признании вины в рамках двух уголовных дел о коллективной краже криптовалюты через фишинг (второе с тем же фигурантом рассматривают в Калифорнии).

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru