Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Мошенники заманивают удалёнщиков компенсацией за домашний интернет

Российских удалёнщиков атакуют под видом работодателей, государственных ведомств и корпоративных ИТ-служб. Одной из приманок стала компенсация расходов на домашний интернет и личный компьютер.

Чтобы получить несуществующую выплату, человеку предлагают пройти идентификацию на поддельном сайте или сообщить код из СМС, рассказал руководитель группы обучения информационной безопасности Яндекса Александр Лунев.

Вместо денег сотрудник рискует передать мошенникам учётные или платёжные данные. Компенсация получается действительно удалённой — настолько, что до банковского счёта жертвы она не доезжает.

Другой сценарий начинается с письма якобы от ИТ-службы компании. В нём требуют срочно продлить доступ к рабочей системе, подтвердить учётную запись или установить обновление по ссылке. Давление на срочность нужно, чтобы человек сначала нажал, ввёл пароль и запустил файл, а уже потом задумался, почему корпоративный администратор пишет с незнакомого адреса.

Дополнительным слабым местом становится домашняя сеть. В отличие от офисной инфраструктуры, за её настройку отвечает сам пользователь. К одному роутеру часто подключены рабочий ноутбук, смартфоны, камеры, телевизоры и умные колонки. Компрометация сети поэтому может создать риски сразу для всей домашней цифровой команды.

Специалист рекомендует заменить стандартные пароли роутера и Wi-Fi, обновить прошивку и отключить функцию быстрого подключения устройств. Камеры, телевизоры, колонки и другую технику лучше вынести в отдельную гостевую сеть, изолировав её от рабочего компьютера.

Любую срочную просьбу стоит проверить по независимому каналу: связаться с работодателем или ИТ-службой через известный номер либо корпоративный мессенджер. Пароли и коды из СМС настоящие компании, банки и ведомства по телефону не запрашивают.

RSS: Новости на портале Anti-Malware.ru