Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

В Госдуме предупреждают о высокой активности мошенников по теме налогов

Зампред комитета Госдумы по бюджету и налогам Каплан Панеш сообщил о заметном росте активности мошенников, которые все чаще эксплуатируют налоговую тематику. Как правило, злоумышленники заманивают жертв на фишинговые страницы, требуя оплатить якобы имеющуюся задолженность или обещая возврат НДС и переплат.

Об этом парламентарий рассказал в комментарии ТАСС. По его словам, мошенники активно пользуются тем, что многие граждане плохо представляют, как на самом деле устроена работа налоговых органов.

Чаще всего под прицел попадают самозанятые, индивидуальные предприниматели и владельцы имущества — именно эти категории граждан регулярно взаимодействуют с ФНС. Однако, как подчеркнул Каплан Панеш, жертвами могут стать и обычные граждане, инвесторы и предприниматели.

Конечной целью злоумышленников являются не только деньги, но и любые потенциально ликвидные данные — от учетных записей до платежных реквизитов.

«Мошенники используют самые разные методы — от массовых рассылок до личных визитов, чтобы создать у человека ощущение срочности и страха перед возможными последствиями. Один из самых распространенных инструментов — фишинговые письма и сообщения в мессенджерах», — предупреждает Каплан Панеш.

Обычно такие сообщения маскируются под уведомления от налоговых органов о перерасчете, долгах или необходимости срочно подать декларацию. В тексте содержится ссылка для “уточнения данных” или внесения оплаты, которая ведет на поддельный сайт, внешне почти не отличимый от официального. Все введенные там логины, пароли, данные банковских карт или коды подтверждения из СМС сразу попадают к злоумышленникам.

Особую опасность, по словам депутата, представляют схемы, связанные с возвратом НДС или получением компенсаций. В таких случаях мошенники могут навязывать оплату дополнительных услуг — например, «помощь юристов» или сопровождение оформления выплат.

«Еще одна распространенная тактика — телефонные звонки. Мошенник, представляясь инспектором ФНС, сообщает, что от работодателя якобы не поступили сведения о доходах, и угрожает крупными штрафами. Затем под предлогом помощи с “электронным запросом” или записи на прием он просит продиктовать одноразовый код из СМС. На самом деле это код для сброса пароля от личного кабинета на Госуслугах», — поясняет Каплан Панеш.

Иногда злоумышленники идут еще дальше и приходят с личными визитами в организации. В таких случаях они действуют особенно напористо, предлагая оплатить «задолженность» прямо на месте. Однако, как напомнил депутат, реальные сотрудники ФНС никогда так не работают: официальные требования об уплате налогов, уведомления и вся критически важная информация направляются исключительно через личный кабинет налогоплательщика на сайте ФНС или через Госуслуги.

Как предупреждает сама налоговая служба, мошеннические атаки с использованием налоговой тематики традиционно резко учащаются перед 1 апреля и 1 декабря. При этом в последнее время все чаще целью таких схем становится именно перехват платежных реквизитов.

RSS: Новости на портале Anti-Malware.ru