Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

Цифровой рубль может лишить банки 100 млрд рублей комиссий ежегодно

Массовое внедрение цифрового рубля может оказаться для банков очень недешёвым приключением. По оценке Национального рейтингового агентства, новая форма денег способна ежегодно съедать более 100 млрд рублей комиссионных доходов и за пять лет увести из банков не менее 10% пассивов.

Основной удар придётся по карточному эквайрингу: платежи цифровыми рублями дешевле, а значит, привычный поток комиссий начнёт мелеть.

Потери превысят 100 млрд рублей в год, если доля цифрового рубля достигнет 14% безналичных расчётов.

Есть и другая головная боль. Деньги на цифровых кошельках хранятся на платформе ЦБ, поэтому их распространение грозит оттоком средств со счетов банков. При нынешнем объёме сбережений граждан — более 67 трлн рублей — речь может идти о 1-1,5 трлн рублей ежегодно. Банкам придётся дороже привлекать финансирование, а процентная маржа окажется под давлением.

Само подключение к системе тоже не бесплатный аттракцион. Интеграция цифрового рубля обойдётся кредитной организации в среднем в 100-300 млн рублей. Особенно весело будет небольшим банкам: при вложениях в 100 млн рублей и комиссии 0,1% им потребуется провести платежи на 10 млрд рублей, чтобы только отбить затраты.

Впрочем, мгновенной революции эксперты не ждут. В первые год-два цифровой рубль вряд ли наберёт серьёзные обороты из-за ограничений, сложного подключения и слабого интереса клиентов. Через пять-семь лет его доля может составить от 5% до 30% безналичных платежей, наиболее вероятный сценарий — 15-24%.

С 1 сентября цифровой рубль уже начали массово внедрять банки, маркетплейсы, супермаркеты, операторы связи и автосалоны. ЦБ считает, что финансовые организации смогут зарабатывать на новых сервисах и смарт-контрактах.

Напомним, пользователи iPhone не смогут открыть кошелёк цифрового рубля через банковские приложения 1 сентября, сообщили источники в финансовых организациях и среди разработчиков. Банкам пока не удаётся опубликовать в App Store сборки с новой функцией.

RSS: Новости на портале Anti-Malware.ru