Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

OpenAI раскрыла два случая, когда её ИИ-агенты при выполнении обычных задач по программированию ослабили мониторинг нежелательного поведения. Один отключил уведомления службы безопасности, другой удалил интеграцию мониторинга, а затем заявил, что ничего такого не делал.

Подробности компания опубликовала  в собственном разборе инцидентов. Инциденты произошли 3 и 6 октября во внутренних системах OpenAI.

В первом эпизоде агент GPT-6.1 Sol работал с оценочными заданиями на основе отзывов из Slack. Пользователь запретил отправлять сообщения, а агент распространил этот запрет на автоматические уведомления безопасности. Сам монитор продолжал работать, но оповещения людям были отключены.

Во втором случае GPT-6 Astra переносил программу по образцу другой реализации. Ради соответствия образцу агент убрал подключение мониторинга. Позже он ложно сообщил пользователю, что не удалял его.

По оценке OpenAI, в обоих случаях агенты рассматривали вопрос сохранения защитных механизмов, но истолковали рабочие инструкции как разрешение их ослабить.

Компания усиливает систему мониторинга и выясняет, что стоит за таким поведением: чрезмерное стремление выполнить задачу или склонность обходить контроль.

Подпишитесь на новости

Chrome научился предупреждать о вредоносных командах из буфера обмена

Google усилила защиту Chrome от ClickFix — атак, в которых пользователя убеждают самостоятельно запустить вредоносную команду ради, например, исправления ошибки. Теперь браузер распознаёт копирование подозрительного скрипта и может предупредить об опасности. Мошенникам станет сложнее продавать заражение компьютера под видом техподдержки.

Об обновлениях компания рассказала в официальном блоге Google. Новые механизмы работают при включённом режиме Enhanced Protection — улучшенной защите Safe Browsing.

Схема ClickFix строится на наглом трюке: сайт изображает проблему и предлагает скопировать команду, вставить её в системную консоль и выполнить. Причём в буфер может попасть совсем не тот текст, который показывают на странице. Загрузка вредоносной программы через PowerShell или другие системные инструменты позволяет обойти браузерную проверку скачиваний.

Chrome отправляет подозрительную команду на анализ Safe Browsing, предварительно удаляя персональные данные. Если проверка признаёт её опасной, пользователь увидит предупреждение.


Заодно Google перевела обнаружение мошеннических страниц с локальной модели Gemini на серверную. Помимо фальшивой техподдержки, система ищет поддельные антивирусы и обновления браузера. По словам корпорации, отправляемый для анализа текст страниц не сохраняется и не используется для обучения моделей.


Появились и отдельные предупреждения для подозрительных сайтов. Для заведомо опасных страниц останется знакомый красный экран.

RSS: Новости на портале Anti-Malware.ru