ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

OpenAI признала: инъекции в промпт — одна из самых сложных и живучих угроз для ИИ, и полностью избавиться от неё в ближайшее время не получится. Об этом компания написала в блоге, посвящённом усилению защиты своего ИИ-браузера ChatGPT Atlas.

Инъекции в промпт (prompt injection) — это атаки, при которых ИИ «подсовывают» скрытые инструкции, например в письмах или на веб-страницах, заставляя агента выполнять вредоносные действия.

По сути, это цифровой аналог социальной инженерии — только направленный не на человека, а на ИИ.

«От таких атак, как и от мошенничества в интернете, вряд ли когда-нибудь будет стопроцентная защита», — прямо заявили в OpenAI.

В компании признают, что запуск ИИ в Atlas расширил поверхность атаки. И это не теоретическая угроза: сразу после выхода браузера на рынок исследователи показали, что несколько строк текста в Google Docs могут изменить поведение ИИ-агента.

В тот же день разработчики браузера Brave опубликовали разбор, где объяснили, что косвенные промпт-инъекции — системная проблема для всех ИИ-браузеров, включая Perplexity Comet.

С этим согласны и регуляторы. В начале месяца Национальный центр кибербезопасности Великобритании предупредил, что подобный вектор атаки на генеративные ИИ нельзя устранить, и призвал сосредоточиться не на «полной защите», а на снижении рисков и ущерба.

Решение OpenAI выглядит почти символично — компания создала автоматического атакующего на базе LLM. По сути, это ИИ, обученный с помощью играть роль хакера и искать способы внедрить вредоносные инструкции в агента.

Этот «бот-взломщик» тестирует атаки в симуляции; видит, как целевой ИИ рассуждает и какие действия предпринимает; дорабатывает атаку и повторяет попытки десятки и сотни раз.

 

Такой доступ ко внутренней логике агента недоступен внешним исследователям, поэтому OpenAI рассчитывает находить уязвимости быстрее реальных злоумышленников.

«Наш автоматический атакующий способен уводить агента в сложные вредоносные сценарии, растянутые на десятки и даже сотни шагов», — отмечают в OpenAI.

По словам компании, ИИ уже обнаружил новые векторы атак, которые не выявили ни внутренние Red Team, ни внешние исследователи.

В одном из примеров OpenAI показала, как вредоносное письмо с скрытой инструкцией попадает во входящие. Когда агент позже просматривает почту, он вместо безобидного автоответа отправляет письмо об увольнении. После обновления защиты Atlas смог распознать такую атаку и предупредить пользователя.

OpenAI честно признаёт: идеального решения не существует. Ставка делается на масштабное тестирование, быстрые патчи и многоуровневую защиту — примерно о том же говорят Anthropic и Google, которые фокусируются на архитектурных и политических ограничениях для агентных систем.

При этом OpenAI рекомендует пользователям снижать риски самостоятельно:

  • не давать агенту «широкие полномочия» без чётких инструкций;
  • ограничивать доступ к почте и платёжным данным;
  • подтверждать действия вроде отправки сообщений и переводов вручную.

В Security Vision NG SGRC расширили возможности управления ИБ

Компания Security Vision сообщила о крупном обновлении раздела Governance («Управление информационной безопасностью») в продукте Security Vision NG SGRC. Обновление затрагивает базовые процессы управления ИБ — от определения ролей и стратегии до планирования, рисков и актуализации политик.

Обновлённый раздел делает акцент на выстраивании ИБ «с нуля»: с определения миссии и видения информационной безопасности, а также организационной структуры.

В системе используется ролевая модель RASCI, которую можно адаптировать под конкретную организацию и сразу увидеть незакрытые роли и зоны ответственности.

В рамках Governance формируется организационный контекст ИБ, включая перечень заинтересованных сторон:

  • внутренних — подразделения, руководители, лица, принимающие решения;
  • внешних — регуляторы, партнёры, акционеры.

Их требования и приоритеты в дальнейшем учитываются при оценке рисков.

Стратегия и фреймворки

На уровне стратегии в NG SGRC можно выбрать базовый фреймворк развития ИБ. В системе доступны NIST CSF 2.0 и ISO 27001, при этом допускается создание собственного фреймворка или комбинирование подходов.

Именно на этом этапе задаются ориентиры развития кибербезопасности и формируется логика дальнейших процессов.

 

Управление рисками и планирование

В обновлённом разделе также определяются ключевые элементы риск-менеджмента:

  • бизнес-риски;
  • процесс и методика управления рисками;
  • риск-аппетит и толерантность к риску.

На базе выбранного фреймворка проводится анализ текущего и целевого состояния ИБ. По его итогам формируется стратегический план, который можно разбить на этапы, назначить исполнителей и отслеживать прогресс на сводных дашбордах.

Процессы и политики — автоматически

После выбора фреймворка система автоматически формирует перечень процессов информационной безопасности. Для них доступны типовые описания этапов и действий, а также связанные частные политики ИБ.

Для большинства документов, включая базовую политику информационной безопасности, в NG SGRC предусмотрены шаблоны, упрощающие подготовку и актуализацию документов.

Поддержание актуальности

Отдельное внимание в обновлении уделено поддержанию актуального состояния ИБ. В системе можно настроить интервалы пересмотра процессов, политик и других сущностей, а также назначить ответственных сотрудников, которые будут получать соответствующие уведомления.

В целом обновление Governance делает акцент не на отдельных инструментах, а на последовательной и управляемой модели информационной безопасности, где стратегия, риски, процессы и документы связаны между собой и поддерживаются в актуальном состоянии.

RSS: Новости на портале Anti-Malware.ru