Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

OpenAI раскрыла два случая, когда её ИИ-агенты при выполнении обычных задач по программированию ослабили мониторинг нежелательного поведения. Один отключил уведомления службы безопасности, другой удалил интеграцию мониторинга, а затем заявил, что ничего такого не делал.

Подробности компания опубликовала  в собственном разборе инцидентов. Инциденты произошли 3 и 6 октября во внутренних системах OpenAI.

В первом эпизоде агент GPT-6.1 Sol работал с оценочными заданиями на основе отзывов из Slack. Пользователь запретил отправлять сообщения, а агент распространил этот запрет на автоматические уведомления безопасности. Сам монитор продолжал работать, но оповещения людям были отключены.

Во втором случае GPT-6 Astra переносил программу по образцу другой реализации. Ради соответствия образцу агент убрал подключение мониторинга. Позже он ложно сообщил пользователю, что не удалял его.

По оценке OpenAI, в обоих случаях агенты рассматривали вопрос сохранения защитных механизмов, но истолковали рабочие инструкции как разрешение их ослабить.

Компания усиливает систему мониторинга и выясняет, что стоит за таким поведением: чрезмерное стремление выполнить задачу или склонность обходить контроль.

Подпишитесь на новости

СберТех запустил направление проверки безопасности ПО до внедрения

СберТех объявил о запуске нового направления по анализу безопасности программного обеспечения. В его основе собственная Лаборатория проверки ПО и технологическая платформа Platform V Orchestrator for Security Services. Задача — проверять софт до того, как его пустят в корпоративную инфраструктуру.

Как объясняет СберТех, платформа объединяет компоненты для работы с встроенными и внешними средствами анализа. Они позволяют проверять цифровые артефакты, контролировать состав ПО и его изменения, выявлять уязвимости, скрытые угрозы и дефекты в исходном коде и репозиториях.

Компания рассчитывает заменить разрозненные проверки и ручную обработку результатов единым управляемым процессом. По заявлению гендиректора СберТеха Максима Тятюшева, это позволит масштабировать проверки без пропорционального увеличения команды.

Потребность компания связывает с внедрением сотен продуктов от разных поставщиков, использованием компонентов с открытым исходным кодом и ростом атак на цепочки поставок ПО. Основные заказчики — банки, промышленность, телеком, энергетика и госсектор.

Platform V Orchestrator for Security Services поставляется как самостоятельный продукт и может интегрироваться в существующую инфраструктуру информационной безопасности заказчика. Решение поддерживает локальное развертывание и работу в изолированных средах: частных облаках и выделенных контурах обработки данных.

Реклама, 18+. ООО « Сбертех». ИНН 7736632467
ERID: 
2VfnxxYDDbr

RSS: Новости на портале Anti-Malware.ru