Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

OpenAI раскрыла два случая, когда её ИИ-агенты при выполнении обычных задач по программированию ослабили мониторинг нежелательного поведения. Один отключил уведомления службы безопасности, другой удалил интеграцию мониторинга, а затем заявил, что ничего такого не делал.

Подробности компания опубликовала  в собственном разборе инцидентов. Инциденты произошли 3 и 6 октября во внутренних системах OpenAI.

В первом эпизоде агент GPT-6.1 Sol работал с оценочными заданиями на основе отзывов из Slack. Пользователь запретил отправлять сообщения, а агент распространил этот запрет на автоматические уведомления безопасности. Сам монитор продолжал работать, но оповещения людям были отключены.

Во втором случае GPT-6 Astra переносил программу по образцу другой реализации. Ради соответствия образцу агент убрал подключение мониторинга. Позже он ложно сообщил пользователю, что не удалял его.

По оценке OpenAI, в обоих случаях агенты рассматривали вопрос сохранения защитных механизмов, но истолковали рабочие инструкции как разрешение их ослабить.

Компания усиливает систему мониторинга и выясняет, что стоит за таким поведением: чрезмерное стремление выполнить задачу или склонность обходить контроль.

Подпишитесь на новости

В Москве тестируют робота для зарядки электромобилей прямо на парковке

В Москве начали испытывать мобильную зарядную станцию «Росатома»: она подъезжает к припаркованному электромобилю и пополняет батарею. Идея прекрасная: вместо поисков свободного терминала зарядка приезжает к машине. Правда, пока за передвижения робота отвечает инженер с пультом.

Подробности пилота раскрыло издание «Страна Росатом». Испытания проходят совместно с московским Дептрансом на парковке № 9080 у Триумфальной площади.

Внутри станции — накопитель на 74,6 кВт·ч, пиковая мощность зарядки постоянным током достигает 60 кВт. Согласно заявленным характеристикам, батарею электромобиля средней ёмкости можно зарядить с 10 до 90% примерно за полчаса.

После сеанса станция может отправиться к следующей машине, если осталось хотя бы 20 кВт·ч энергии. Если запаса недостаточно — возвращается на собственную подзарядку.

Следующий этап — автономное передвижение и вызов через приложение «Метро Москвы». Ориентироваться станция будет с помощью цифровой карты, компьютерного зрения, стереокамеры, лидара и инерциальной системы. Привязку к GPS разработчики использовать не планируют.

Городские испытания продлятся до конца 2026 года. В 2027-м разработку рассчитывают доработать, сертифицировать и подготовить к серийному производству.

RSS: Новости на портале Anti-Malware.ru