ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

ИИ-браузеры не избавятся от угрозы инъекции в промпт, признали в OpenAI

OpenAI признала: инъекции в промпт — одна из самых сложных и живучих угроз для ИИ, и полностью избавиться от неё в ближайшее время не получится. Об этом компания написала в блоге, посвящённом усилению защиты своего ИИ-браузера ChatGPT Atlas.

Инъекции в промпт (prompt injection) — это атаки, при которых ИИ «подсовывают» скрытые инструкции, например в письмах или на веб-страницах, заставляя агента выполнять вредоносные действия.

По сути, это цифровой аналог социальной инженерии — только направленный не на человека, а на ИИ.

«От таких атак, как и от мошенничества в интернете, вряд ли когда-нибудь будет стопроцентная защита», — прямо заявили в OpenAI.

В компании признают, что запуск ИИ в Atlas расширил поверхность атаки. И это не теоретическая угроза: сразу после выхода браузера на рынок исследователи показали, что несколько строк текста в Google Docs могут изменить поведение ИИ-агента.

В тот же день разработчики браузера Brave опубликовали разбор, где объяснили, что косвенные промпт-инъекции — системная проблема для всех ИИ-браузеров, включая Perplexity Comet.

С этим согласны и регуляторы. В начале месяца Национальный центр кибербезопасности Великобритании предупредил, что подобный вектор атаки на генеративные ИИ нельзя устранить, и призвал сосредоточиться не на «полной защите», а на снижении рисков и ущерба.

Решение OpenAI выглядит почти символично — компания создала автоматического атакующего на базе LLM. По сути, это ИИ, обученный с помощью играть роль хакера и искать способы внедрить вредоносные инструкции в агента.

Этот «бот-взломщик» тестирует атаки в симуляции; видит, как целевой ИИ рассуждает и какие действия предпринимает; дорабатывает атаку и повторяет попытки десятки и сотни раз.

 

Такой доступ ко внутренней логике агента недоступен внешним исследователям, поэтому OpenAI рассчитывает находить уязвимости быстрее реальных злоумышленников.

«Наш автоматический атакующий способен уводить агента в сложные вредоносные сценарии, растянутые на десятки и даже сотни шагов», — отмечают в OpenAI.

По словам компании, ИИ уже обнаружил новые векторы атак, которые не выявили ни внутренние Red Team, ни внешние исследователи.

В одном из примеров OpenAI показала, как вредоносное письмо с скрытой инструкцией попадает во входящие. Когда агент позже просматривает почту, он вместо безобидного автоответа отправляет письмо об увольнении. После обновления защиты Atlas смог распознать такую атаку и предупредить пользователя.

OpenAI честно признаёт: идеального решения не существует. Ставка делается на масштабное тестирование, быстрые патчи и многоуровневую защиту — примерно о том же говорят Anthropic и Google, которые фокусируются на архитектурных и политических ограничениях для агентных систем.

При этом OpenAI рекомендует пользователям снижать риски самостоятельно:

  • не давать агенту «широкие полномочия» без чётких инструкций;
  • ограничивать доступ к почте и платёжным данным;
  • подтверждать действия вроде отправки сообщений и переводов вручную.

Наталья Касперская: ИИ нельзя пускать в образование и госуправление

ИИ нельзя превращать в универсальный ответ на все вопросы — особенно там, где на кону люди, данные и здравый смысл. Об этом заявила Наталья Касперская, президент группы компаний InfoWatch и председатель правления ассоциации «Отечественный софт», в эфире радио «Комсомольская правда».

В большом разговоре она прошлась по самым болезненным темам — от импортозамещения и утечек данных до мошенников, дипфейков и рисков тотальной цифровизации.

По словам Касперской, санкционное давление продолжает усиливаться: зарубежные вендоры отказываются подписывать сертификаты, и в какой-то момент софт, работающий на иностранных операционных системах, может просто перестать функционировать.

Но катастрофы, по её мнению, нет. В реестре отечественного ПО — более 29 тысяч продуктов, а среди операционных систем уже есть проверенные варианты: Astra Linux, ALT Linux, «РЕД ОС» и ROSA, а для мобильных устройств — KasperskyOS и «Аврора». Крупные компании начали массово переходить на них после 2022 года.

Полной замены иностранного промышленного ПО пока нет, но и критической зависимости, при которой «станок нельзя перевезти», тоже уже не наблюдается.

Одна из самых тревожных тем — мошенничество. Несмотря на принятый закон о борьбе с аферистами, 2025 год снова может стать рекордным по сумме украденных средств. Причина проста: старые схемы перестают работать, зато появляются новые — сложные и многоходовые.

Сегодня мошенники активно используют:

Главное правило, которое напомнила Касперская: наши ведомства не звонят. Любой «срочный звонок от государства» — повод насторожиться.

По оценкам, за прошлый год утекло более 1,5 млрд записей персональных данных. Это значит, что информация о каждом россиянине «утекала» в среднем не один раз. И ситуация, по мнению Касперской, будет только ухудшаться.

Она резко раскритиковала идею расширения государственных регистров, в том числе регистра заболеваний, где будут фигурировать психиатрические диагнозы, беременность и онкология. Такие базы, уверена она, практически гарантированно станут добычей мошенников.

«Чем больше данных — тем больше утечек. А человеческий фактор не победить никакими техническими мерами», — подчеркнула Касперская.

Касперская призвала не демонизировать искусственный интеллект, но и не обожествлять его. По её словам, генеративный ИИ опасен там, где нужна стопроцентная точность.

Под запрет, по её мнению, должны попасть образование, госуправление и законотворчество. Причина проста: генеративный ИИ всегда выдаёт вероятностный ответ и может «галлюцинировать». В образовании это приводит к тому, что дети перестают думать, а просто копируют ответы, не понимая смысла.

Зато в технических и прикладных сферах ИИ действительно незаменим: промышленная безопасность, предотвращение аварий, мониторинг инфраструктуры, сельское хозяйство и прогнозирование.

Главный вывод Касперской звучит предельно ясно: бояться стоит не искусственного интеллекта, а людей, которые используют его во вред.

ИИ — всего лишь инструмент. И вопрос не в том, сколько процентов процессов им «оцифровать», а в том, где он действительно уместен, а где его появление может обернуться новыми рисками — для общества, безопасности и здравого смысла.

RSS: Новости на портале Anti-Malware.ru