Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

34% тестировщиков применяют ИИ для генерации кода, 28% — для тест-кейсов

2ГИС решила разобраться, как себя чувствует русскоязычное QA-сообщество: чем пользуются тестировщики, как устроены процессы и как в работу проникает искусственный интеллект. В исследовании поучаствовали 570 QA-специалистов, почти половина из них работают в крупных компаниях.

57% опрошенных сказали, что подключаются к разработке фич ещё на этапе обсуждения требований — то есть задолго до появления кода.

Лишь 20% приходят в проект только после завершения разработки. А вариант «подключаюсь, когда в продакшене что-то сломалось» — уже почти экзотика.

89% команд используют автотесты — от юнитов до UI. Но вот инструменты вокруг них, вроде поддержки, аналитики и стабильности, применяют далеко не все. Например, код-ревью автотестов делают только 39% опрошенных, а 28% команд вообще не отслеживают никаких метрик и работают «вслепую».

ИИ используют не все, и в основном — для рутинных задач

Хотя ИИ уже прочно вошёл в мир тестирования, чаще всего его применяют для типовых задач:

  • написание тестового кода (34%),
  • генерация тест-кейсов (28%),
  • и тестовых данных (26%).

 

Более продвинутые сценарии вроде анализа тестов, автоматического поиска багов и визуального тестирования пока используются редко. Например, только 5% автоматизируют дефект-дискавери, и лишь 4% пробуют AI для визуальных проверок. А 22% QA-специалистов вообще не используют ИИ в своей работе.

Главные проблемы в тестировании

На первом месте — сжатые сроки. Об этом сказали 71% участников опроса. На втором — слабое вовлечение QA в процессы (40%) и нехватка квалифицированных специалистов (37%).

Как измеряют качество

  • Главная метрика — количество найденных багов (58%).
  • Покрытие автотестами учитывают 43%, покрытие кода — только 23%.
  • Стабильность тестов (например, чтобы они не «флапали») отслеживают всего 15% команд.

Что будет с профессией дальше? Мнения разделились:

  • 37% считают, что всё уйдёт в тотальную автоматизацию;
  • 35% уверены, что ничего особо не поменяется;
  • почти треть верит, что QA станет глубже интегрироваться в специфические направления вроде ИБ и производительности;
  • 27% видят будущее за DevOps и SRE — то есть тесной работой на всех этапах: от разработки до эксплуатации.
AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru