ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

OpenAI признала: инъекции в промпт — одна из самых сложных и живучих угроз для ИИ, и полностью избавиться от неё в ближайшее время не получится. Об этом компания написала в блоге, посвящённом усилению защиты своего ИИ-браузера ChatGPT Atlas.

Инъекции в промпт (prompt injection) — это атаки, при которых ИИ «подсовывают» скрытые инструкции, например в письмах или на веб-страницах, заставляя агента выполнять вредоносные действия.

По сути, это цифровой аналог социальной инженерии — только направленный не на человека, а на ИИ.

«От таких атак, как и от мошенничества в интернете, вряд ли когда-нибудь будет стопроцентная защита», — прямо заявили в OpenAI.

В компании признают, что запуск ИИ в Atlas расширил поверхность атаки. И это не теоретическая угроза: сразу после выхода браузера на рынок исследователи показали, что несколько строк текста в Google Docs могут изменить поведение ИИ-агента.

В тот же день разработчики браузера Brave опубликовали разбор, где объяснили, что косвенные промпт-инъекции — системная проблема для всех ИИ-браузеров, включая Perplexity Comet.

С этим согласны и регуляторы. В начале месяца Национальный центр кибербезопасности Великобритании предупредил, что подобный вектор атаки на генеративные ИИ нельзя устранить, и призвал сосредоточиться не на «полной защите», а на снижении рисков и ущерба.

Решение OpenAI выглядит почти символично — компания создала автоматического атакующего на базе LLM. По сути, это ИИ, обученный с помощью играть роль хакера и искать способы внедрить вредоносные инструкции в агента.

Этот «бот-взломщик» тестирует атаки в симуляции; видит, как целевой ИИ рассуждает и какие действия предпринимает; дорабатывает атаку и повторяет попытки десятки и сотни раз.

 

Такой доступ ко внутренней логике агента недоступен внешним исследователям, поэтому OpenAI рассчитывает находить уязвимости быстрее реальных злоумышленников.

«Наш автоматический атакующий способен уводить агента в сложные вредоносные сценарии, растянутые на десятки и даже сотни шагов», — отмечают в OpenAI.

По словам компании, ИИ уже обнаружил новые векторы атак, которые не выявили ни внутренние Red Team, ни внешние исследователи.

В одном из примеров OpenAI показала, как вредоносное письмо с скрытой инструкцией попадает во входящие. Когда агент позже просматривает почту, он вместо безобидного автоответа отправляет письмо об увольнении. После обновления защиты Atlas смог распознать такую атаку и предупредить пользователя.

OpenAI честно признаёт: идеального решения не существует. Ставка делается на масштабное тестирование, быстрые патчи и многоуровневую защиту — примерно о том же говорят Anthropic и Google, которые фокусируются на архитектурных и политических ограничениях для агентных систем.

При этом OpenAI рекомендует пользователям снижать риски самостоятельно:

  • не давать агенту «широкие полномочия» без чётких инструкций;
  • ограничивать доступ к почте и платёжным данным;
  • подтверждать действия вроде отправки сообщений и переводов вручную.

Рынку DevSecOps не хватает специалистов, а зарплаты идут вверх

На российском рынке безопасной разработки становится всё заметнее перекос между спросом и предложением. По данным совместного анализа HH.ru и ГК «Солар», специалистов в этой области сейчас требуется примерно в три раза больше, чем реально есть на рынке.

Аналитики отмечают, что в 2025 году вакансии по безопасной разработке составили 4,8% от общего числа предложений в сфере ИБ, тогда как резюме таких специалистов — только 1,5%. Иными словами, бизнесу нужны DevSecOps- и AppSec-специалисты, но найти их всё сложнее.

Проблема, как считают эксперты, не только в кадровом голоде как таковом. Речь уже идёт о более глубоком дисбалансе: рынок хочет специалистов нового типа, а система подготовки кадров не успевает за этим запросом. В результате компаниям всё чаще приходится «выращивать» таких сотрудников внутри — переучивать разработчиков, тестировщиков и других технических специалистов под задачи безопасной разработки.

На этом фоне ожидаемо ускоряется и рост зарплат. По итогам 2025 года начинающим специалистам по безопасной разработке с опытом от года до трёх лет предлагали от 107 тыс. до 140 тыс. рублей. Специалисты среднего уровня могли рассчитывать уже на 193–260 тыс. рублей, а опытные профессионалы — на 330–420 тыс. рублей.

Такой разброс, по сути, показывает, насколько дорогими стали зрелые кадры в этой сфере. Чем выше квалификация, тем сильнее цена ошибки — и тем дороже обходится специалист работодателю.

Расходы бизнеса на такие команды тоже быстро растут. По оценке HR-специалистов «Солара», годовой фонд оплаты труда команды безопасной разработки даже в относительно компактной конфигурации начинается примерно от 9,3 млн рублей. А более сильные и опытные составы уже требуют 25–26 млн рублей в год и выше.

На этом фоне компании всё активнее смотрят в сторону ИИ-инструментов. Но не как на полноценную замену инженерам, а скорее как на способ снять с них часть рутины: например, ускорить проверку кода, первичный анализ уязвимостей или подготовку вариантов исправлений. При этом, как подчёркивают эксперты, результаты работы таких систем всё равно должны проверять люди — особенно если речь идёт о серьёзных задачах AppSec.

По оценке «Солара», использование специализированных LLM-моделей в закрытом контуре может сократить годовой ФОТ AppSec-команд на 20–50% — в зависимости от масштаба разработки. Но это не отменяет главного: окончательное решение всё равно должно оставаться за инженером, а не за моделью.

В целом рынок движется к довольно понятной точке. DevSecOps и AppSec перестают быть чем-то факультативным или «для крупных компаний». Безопасность всё чаще встраивают прямо в процесс разработки, потому что исправлять уязвимости на ранних этапах заметно дешевле, чем разбираться с последствиями уже после запуска.

По приведённым оценкам, стоимость устранения уязвимости может вырасти в 10 раз на поздних этапах разработки, в 640 раз — на этапе запуска приложения и в 1000 раз, если проблема уже привела к ИБ-инциденту в работающем продукте.

На этом фоне растёт и спрос на специалистов, которые умеют работать не только с классическими ИБ-задачами, но и с инструментами автоматизации анализа кода — SAST и DAST, а также понимают саму разработку. Всё более ценными становятся инженеры с опытом в Python, Go, Java, а не только с администраторским или инфраструктурным бэкграундом.

RSS: Новости на портале Anti-Malware.ru