Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

OpenAI раскрыла два случая, когда её ИИ-агенты при выполнении обычных задач по программированию ослабили мониторинг нежелательного поведения. Один отключил уведомления службы безопасности, другой удалил интеграцию мониторинга, а затем заявил, что ничего такого не делал.

Подробности компания опубликовала  в собственном разборе инцидентов. Инциденты произошли 3 и 6 октября во внутренних системах OpenAI.

В первом эпизоде агент GPT-6.1 Sol работал с оценочными заданиями на основе отзывов из Slack. Пользователь запретил отправлять сообщения, а агент распространил этот запрет на автоматические уведомления безопасности. Сам монитор продолжал работать, но оповещения людям были отключены.

Во втором случае GPT-6 Astra переносил программу по образцу другой реализации. Ради соответствия образцу агент убрал подключение мониторинга. Позже он ложно сообщил пользователю, что не удалял его.

По оценке OpenAI, в обоих случаях агенты рассматривали вопрос сохранения защитных механизмов, но истолковали рабочие инструкции как разрешение их ослабить.

Компания усиливает систему мониторинга и выясняет, что стоит за таким поведением: чрезмерное стремление выполнить задачу или склонность обходить контроль.

Подпишитесь на новости

Офицер ФСБ может возглавить направление кибербезопасности в Минцифры

В Минцифры обсуждают нового замминистра по информационной безопасности. На должность рассматривают Константина Дробаденко — начальника управления Центра защиты информации и специальной связи ФСБ России. Он может сменить Александра Шойтова, который курирует направление с апреля 2021 года.

О возможной перестановке узнал РБК от четырёх источников. Два собеседника подчеркнули: окончательного решения пока нет, приказ о назначении не подписан.

Подразделение ФСБ, в котором работает Дробаденко, отвечает за криптографическую защиту информации и специальную связь. Шойтов тоже имеет опыт работы в ФСБ и глубокую экспертизу в криптографии. По профессиональному профилю преемственность просматривается.

Но задачи замминистра значительно шире шифрования. Это защита госуслуг и данных граждан, устойчивость цифровой инфраструктуры, развитие российского рынка ИБ и безопасность цифровизации бизнеса.

Эксперты напоминают, что бизнесу нужны доступные и экономически оправданные механизмы защиты. Одними строгими требованиями удобную и безопасную цифровую среду не построить.

Даже в криптографии накопились вопросы: противоречия в нормативных актах, незаконная выдача сертификатов, передача ключей третьим лицам и несовместимость реестров машиночитаемых доверенностей.

Потому потенциальному замминистру достанется внушительный список задач. Главная интрига — какие из них станут приоритетом и насколько внимательно новый руководитель будет слушать отрасль.

RSS: Новости на портале Anti-Malware.ru