ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

OpenAI признала: инъекции в промпт — одна из самых сложных и живучих угроз для ИИ, и полностью избавиться от неё в ближайшее время не получится. Об этом компания написала в блоге, посвящённом усилению защиты своего ИИ-браузера ChatGPT Atlas.

Инъекции в промпт (prompt injection) — это атаки, при которых ИИ «подсовывают» скрытые инструкции, например в письмах или на веб-страницах, заставляя агента выполнять вредоносные действия.

По сути, это цифровой аналог социальной инженерии — только направленный не на человека, а на ИИ.

«От таких атак, как и от мошенничества в интернете, вряд ли когда-нибудь будет стопроцентная защита», — прямо заявили в OpenAI.

В компании признают, что запуск ИИ в Atlas расширил поверхность атаки. И это не теоретическая угроза: сразу после выхода браузера на рынок исследователи показали, что несколько строк текста в Google Docs могут изменить поведение ИИ-агента.

В тот же день разработчики браузера Brave опубликовали разбор, где объяснили, что косвенные промпт-инъекции — системная проблема для всех ИИ-браузеров, включая Perplexity Comet.

С этим согласны и регуляторы. В начале месяца Национальный центр кибербезопасности Великобритании предупредил, что подобный вектор атаки на генеративные ИИ нельзя устранить, и призвал сосредоточиться не на «полной защите», а на снижении рисков и ущерба.

Решение OpenAI выглядит почти символично — компания создала автоматического атакующего на базе LLM. По сути, это ИИ, обученный с помощью играть роль хакера и искать способы внедрить вредоносные инструкции в агента.

Этот «бот-взломщик» тестирует атаки в симуляции; видит, как целевой ИИ рассуждает и какие действия предпринимает; дорабатывает атаку и повторяет попытки десятки и сотни раз.

 

Такой доступ ко внутренней логике агента недоступен внешним исследователям, поэтому OpenAI рассчитывает находить уязвимости быстрее реальных злоумышленников.

«Наш автоматический атакующий способен уводить агента в сложные вредоносные сценарии, растянутые на десятки и даже сотни шагов», — отмечают в OpenAI.

По словам компании, ИИ уже обнаружил новые векторы атак, которые не выявили ни внутренние Red Team, ни внешние исследователи.

В одном из примеров OpenAI показала, как вредоносное письмо с скрытой инструкцией попадает во входящие. Когда агент позже просматривает почту, он вместо безобидного автоответа отправляет письмо об увольнении. После обновления защиты Atlas смог распознать такую атаку и предупредить пользователя.

OpenAI честно признаёт: идеального решения не существует. Ставка делается на масштабное тестирование, быстрые патчи и многоуровневую защиту — примерно о том же говорят Anthropic и Google, которые фокусируются на архитектурных и политических ограничениях для агентных систем.

При этом OpenAI рекомендует пользователям снижать риски самостоятельно:

  • не давать агенту «широкие полномочия» без чётких инструкций;
  • ограничивать доступ к почте и платёжным данным;
  • подтверждать действия вроде отправки сообщений и переводов вручную.

Иран подозревают в подготовке к отключению от глобального интернета

Иран подозревают в подготовке к фактическому отключению от глобального интернета. Власти уже ограничили доступ к ресурсам, не входящим в так называемый «белый список», а также последовательно развивают национальную интрасеть, лишь минимально связанную с внешним миром.

О таких планах иранских властей сообщила газета Guardian со ссылкой на эксперта по цифровым правам Амира Рашиди.

По его словам, в стране уже функционирует внутренняя сеть, практически изолированная от глобального интернета и полностью контролируемая государством. Ее развитие стало частью долгосрочной политики по формированию замкнутой цифровой экосистемы.

Как напоминает Guardian, 8 января интернет в Иране был полностью отключен на фоне протестов, вспыхнувших в конце декабря из-за резкого роста цен, связанного с ослаблением национальной валюты. Лишь 12 января доступ частично восстановили — но только к ресурсам из «белого списка», находящимся под полным контролем властей. В него вошли поисковые сервисы, картографические приложения, одобренные мессенджеры и стриминговый сервис.

По словам Рашиди, наиболее значимым каналом связи с внешним миром остаются спутниковые терминалы Starlink. По разным оценкам, их число в стране может достигать 100 тыс., при этом использование таких терминалов в Иране является бесплатным.

Однако их выявление входит в число приоритетных задач силовых структур. Для поиска терминалов используются беспилотники. С лета прошлого года применение Starlink криминализировано, а владельцам оборудования грозит до 10 лет лишения свободы. Кроме того, стабильная работа спутниковой связи затруднена из-за применения средств радиоэлектронной борьбы. Более-менее устойчиво Starlink работает лишь в отдельных регионах страны. По оценке экспертов, опрошенных Guardian, доступ к нему имеют лишь считанные проценты населения. Другие способы обхода ограничений используют крайне немногие иранцы.

Как отметил Амир Рашиди, работы по созданию изолированной цифровой среды ведутся в Иране уже несколько лет. «Скелет» внутренней сети, по его словам, фактически уже сформирован, а уровень ограничений в ней может оказаться жестче, чем в Китае. По неподтвержденной информации, после подавления протестов жителям страны могут оставить доступ только к этой внутренней сети, с минимальной связью с глобальным интернетом.

В то же время, как сообщило РИА Новости со ссылкой на иранское агентство FARS, полный доступ к интернету в Иране может быть восстановлен в течение одной-двух недель — и в том же объеме, что и до отключения.

«В течение предстоящей недели-двух соответствующими органами будет принято окончательное решение о предоставлении большего доступа к интернету», — говорится в сообщении FARS.

RSS: Новости на портале Anti-Malware.ru