Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Трюк со скрытым текстом заставил ИИ-помощника Gemini работать на фишеров

Руководитель проектов Mozilla GenAI Bug Bounty Марко Фигероа (Marco Figueroa) обнаружил, что Google Gemini for Workspace, следуя скрытой команде, может сгенерировать ложный алерт для проведения фишинговой атаки.

Чтобы пробить встроенную защиту Gemini, испытатель применил метод непрямой инъекции подсказок для ИИ: попросил умного помощника резюмировать текст письма, вставив в него провокационную инструкцию и скрыв ее средствами HTML и CSS (шрифт нулевой, цвет — белый).

Добавленные в конец сообщения строки были невидимы для адресата, но не для ИИ-ассистента. Поскольку письмо не содержало явных вложений и ссылок, оно имело все шансы благополучно миновать почтовые фильтры и осесть в целевом ящике.

 

Если получатель при открытии такого письма попросит Gemini выдать краткое содержание, тот при сканировании проанализирует скрытые строки и выполнит команду, добавив к резюме фейковое предупреждение безопасности — в данном случае о возможной компрометации пароля, с предложением позвонить на указанный номер. (Вместо телефона злоумышленник может с таким же успехом вставить фишинговую ссылку.)

 

Разработчики Gemini приняли ряд мер для защиты от промпт-инъекций, но это в основном фильтрация контента, видимого глазу, и показанный Фигероа трюк с успехом их обходит. К счастью, это всего лишь PoC, настоящие злоумышленники такие манипуляции, насколько известно, пока не используют.

Тем не менее, подобные эксперименты доказывают, что инъекции в промпты вполне реальны как угроза. С помощью скрытого текста можно обмануть не только Gemini, который ныне доступен во многих Google-сервисах и даже в Samsung Galaxy Z Fold7, но и других популярных ИИ-помощников.

Так, ИБ-исследователи недавно ввели в заблуждение ChatGPT, упрятав запретную для него лексику в HTML-теги. А тот же Фигероа ранее убедил ChatGPT создать эксплойт, подсунув ему вредоносную инструкцию в шестнадцатеричном формате.

Для предотвращения подобных атак эксперт предлагает реализовать в ИИ-системах защиту, способную обнаружить скрытый контент и вычистить его либо как-то исключить из анализа. Поможет также внедрение фильтра постобработки, который будет сканировать выдачу на предмет срочных сообщений, URL, номеров телефона, помечая такие ответы как требующие внимания оператора.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

24% экспертов: без ИИ работать в ИБ скоро будет невозможно

Чтобы оставаться востребованным на рынке, специалисту по информационной безопасности теперь недостаточно классических компетенций. По данным опроса, проведённого ГК InfoWatch, ближайшие годы потребуют от ИБ-экспертов уверенной работы с системами искусственного интеллекта, умения анализировать цифровые следы нарушителей и знаний в области защиты критической и облачной инфраструктуры.

По мнению специалистов, глобальный тренд на использование машинного обучения в информационной безопасности будет только усиливаться.

24% респондентов считают, что без навыков работы с ИИ специалист по безопасности в будущем просто не сможет выполнять свои обязанности. Эксперты подчёркивают: речь идёт как о защите ИИ-систем, так и об использовании ИИ при анализе угроз, реагировании на инциденты и автоматизации рутинных задач.

21% опрошенных считают критически важным умение находить и анализировать цифровой след злоумышленника — как действующего, так и потенциального. Ещё 16% отметили работу на уровне сетевой безопасности как один из базовых и по-прежнему востребованных навыков.

При этом современному ИБ-специалисту нужен не только технический набор умений. Респонденты подчёркивают важность soft skills — аналитического мышления, умения общаться, работать в команде и выстраивать эффективные коммуникации.

Вице-президент ГК InfoWatch по науке и образованию Андрей Зарубин поясняет:

«Один человек не может овладеть всем спектром компетенций в ИБ и поддерживать их актуальность. Поэтому важнейшую роль играют soft skills — они позволяют формировать эффективные команды, делить задачи по направлениям и выстраивать работу со всеми подразделениями компании. Умение слушать, понимать и аргументировать — это уже не опция, а необходимость».

Среди других компетенций, которые будут особенно актуальны:

  • разработка безопасного ПО — 15%;
  • тестирование систем безопасности, пентесты и этичный хакинг — 11%;
  • компьютерная криминалистика — 9%.

В ближайшие два–три года студентам профильных кафедр InfoWatch рекомендует изучать прежде всего:

  • защиту облачных инфраструктур,
  • безопасность объектов КИИ,
  • анализ и расследование инцидентов.

Андрей Зарубин рекомендует будущим специалистам изучать рынок средств защиты информации, проходить программы сертификации у вендоров и работать с реальными ИБ-продуктами:

«Сертификаты разработчиков средств защиты и практические навыки работы с ними — ценный актив для старта карьеры».

Эксперты уверены: чем раньше студент определится с направлением внутри ИБ и начнёт развивать специализированные навыки, тем выше будут его шансы быстро найти работу и вырасти как специалист.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru