Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Российский рынок ИБ вырос на 27% в 2024 году — инвестировали 339 млрд руб.

В 2024 году российские компании, госструктуры и обычные пользователи вложили в решения и услуги по информационной безопасности 339 миллиардов рублей. Это на 27% больше, чем годом ранее, говорится в исследовании компании «Стрим Консалтинг».

На «железо» пришлось 28% всех затрат, на софт — 23%. Также заметно подрос рынок ИБ-сервисов и техподдержки — сразу на 29%.

Одним из самых активных направлений стали межсетевые экраны — как обычные (FW), так и «продвинутые» (NGFW). В сегменте аппаратных решений траты на NGFW выросли на 37%, на классические FW — на 26%.

По данным исследования, лидером среди производителей аппаратных решений по ИБ стала компания «Код Безопасности».

«Сетевая безопасность — это по-прежнему самое крупное направление на рынке ИБ, и межсетевые экраны играют в нём ключевую роль: это многофункциональные устройства, которые позволяют отбиваться сразу от нескольких видов угроз», — говорит Павел Коростелев, руководитель отдела продвижения продуктов в «Коде Безопасности».

Он также отметил, что спрос на такие решения в ближайшие годы может немного «остыть» — многие организации уже успели перейти на отечественные аналоги. Но в целом до 2029 года расходы на NGFW будут расти в среднем на 14% в год, а на обычные FW — на 8%. В целом, по его словам, расходы на аппаратные продукты будут увеличиваться примерно на 14% ежегодно.

Эксперты связывают рост рынка с тремя основными факторами: активным импортозамещением, ростом числа киберугроз и усилением регулирования в сфере ИБ.

Основными потребителями решений по безопасности остаются крупные компании с выручкой от 2 до 25 млрд рублей и выше, а также федеральные и региональные госорганы.

Если текущие темпы сохранятся, то к 2029 году объём российского рынка информационной безопасности может достигнуть 743 миллиардов рублей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru