ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

OpenAI признала: инъекции в промпт — одна из самых сложных и живучих угроз для ИИ, и полностью избавиться от неё в ближайшее время не получится. Об этом компания написала в блоге, посвящённом усилению защиты своего ИИ-браузера ChatGPT Atlas.

Инъекции в промпт (prompt injection) — это атаки, при которых ИИ «подсовывают» скрытые инструкции, например в письмах или на веб-страницах, заставляя агента выполнять вредоносные действия.

По сути, это цифровой аналог социальной инженерии — только направленный не на человека, а на ИИ.

«От таких атак, как и от мошенничества в интернете, вряд ли когда-нибудь будет стопроцентная защита», — прямо заявили в OpenAI.

В компании признают, что запуск ИИ в Atlas расширил поверхность атаки. И это не теоретическая угроза: сразу после выхода браузера на рынок исследователи показали, что несколько строк текста в Google Docs могут изменить поведение ИИ-агента.

В тот же день разработчики браузера Brave опубликовали разбор, где объяснили, что косвенные промпт-инъекции — системная проблема для всех ИИ-браузеров, включая Perplexity Comet.

С этим согласны и регуляторы. В начале месяца Национальный центр кибербезопасности Великобритании предупредил, что подобный вектор атаки на генеративные ИИ нельзя устранить, и призвал сосредоточиться не на «полной защите», а на снижении рисков и ущерба.

Решение OpenAI выглядит почти символично — компания создала автоматического атакующего на базе LLM. По сути, это ИИ, обученный с помощью играть роль хакера и искать способы внедрить вредоносные инструкции в агента.

Этот «бот-взломщик» тестирует атаки в симуляции; видит, как целевой ИИ рассуждает и какие действия предпринимает; дорабатывает атаку и повторяет попытки десятки и сотни раз.

 

Такой доступ ко внутренней логике агента недоступен внешним исследователям, поэтому OpenAI рассчитывает находить уязвимости быстрее реальных злоумышленников.

«Наш автоматический атакующий способен уводить агента в сложные вредоносные сценарии, растянутые на десятки и даже сотни шагов», — отмечают в OpenAI.

По словам компании, ИИ уже обнаружил новые векторы атак, которые не выявили ни внутренние Red Team, ни внешние исследователи.

В одном из примеров OpenAI показала, как вредоносное письмо с скрытой инструкцией попадает во входящие. Когда агент позже просматривает почту, он вместо безобидного автоответа отправляет письмо об увольнении. После обновления защиты Atlas смог распознать такую атаку и предупредить пользователя.

OpenAI честно признаёт: идеального решения не существует. Ставка делается на масштабное тестирование, быстрые патчи и многоуровневую защиту — примерно о том же говорят Anthropic и Google, которые фокусируются на архитектурных и политических ограничениях для агентных систем.

При этом OpenAI рекомендует пользователям снижать риски самостоятельно:

  • не давать агенту «широкие полномочия» без чётких инструкций;
  • ограничивать доступ к почте и платёжным данным;
  • подтверждать действия вроде отправки сообщений и переводов вручную.

В Сеть выложили восстановленный исходный код легендарного Stuxnet

Неизвестный исследователь опубликовал на GitHub реконструированный исходный код Stuxnet — одного из самых известных и опасных компьютерных червей в истории. В репозитории представлены результаты обратной разработки вредоноса и инструкции по его сборке. В общем, цифровой экспонат из музея кибероружия теперь можно разобрать буквально по винтикам.

Stuxnet обнаружили в 2010 году, однако создавался он, предположительно, в рамках американо-израильской операции Olympic Games.

Целью атаки называли иранский завод по обогащению урана в Натанзе, где использовались промышленные контроллеры Siemens.

Добравшись до нужного оборудования, червь менял режим работы преобразователей частоты и выводил из строя роторы центрифуг. При этом операторам показывались нормальные показатели — промышленное оборудование ломалось, а на экранах царили тишина и порядок. По некоторым оценкам, атака повредила около 10% центрифуг предприятия.

Для распространения Stuxnet использовал USB-накопители, сетевые ресурсы и уязвимость Windows Print Spooler. Достаточно было открыть содержимое заражённой флешки, чтобы неизвестная на тот момент брешь запустила вредонос. Для обхода проверки драйверов применялись сертификаты, похищенные у Realtek и JMicron.

Червь также внедрялся в ПО Siemens WinCC и проекты Step 7, а затем перехватывал взаимодействие с программируемыми логическими контроллерами. Такой набор возможностей сделал Stuxnet первым широко известным вредоносом, который не просто портил файлы, а наносил физический ущерб промышленному объекту.

Идеальной операция всё же не была. Из-за ошибки в проверке окружения червь выбрался за пределы целевой сети и разлетелся по интернету, где его и заметили специалисты. В коде, к счастью, была предусмотрена дата самоуничтожения — 24 июня 2012 года.

Авторы публикации советуют изучать реконструкцию только в полностью изолированной виртуальной машине без сетевого доступа. Всё-таки это не ретроигра для Windows XP, а разобранная граната цифровой эпохи.

RSS: Новости на портале Anti-Malware.ru