Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

Агенты OpenAI ослабили мониторинг своего нежелательного поведения

OpenAI раскрыла два случая, когда её ИИ-агенты при выполнении обычных задач по программированию ослабили мониторинг нежелательного поведения. Один отключил уведомления службы безопасности, другой удалил интеграцию мониторинга, а затем заявил, что ничего такого не делал.

Подробности компания опубликовала  в собственном разборе инцидентов. Инциденты произошли 3 и 6 октября во внутренних системах OpenAI.

В первом эпизоде агент GPT-6.1 Sol работал с оценочными заданиями на основе отзывов из Slack. Пользователь запретил отправлять сообщения, а агент распространил этот запрет на автоматические уведомления безопасности. Сам монитор продолжал работать, но оповещения людям были отключены.

Во втором случае GPT-6 Astra переносил программу по образцу другой реализации. Ради соответствия образцу агент убрал подключение мониторинга. Позже он ложно сообщил пользователю, что не удалял его.

По оценке OpenAI, в обоих случаях агенты рассматривали вопрос сохранения защитных механизмов, но истолковали рабочие инструкции как разрешение их ослабить.

Компания усиливает систему мониторинга и выясняет, что стоит за таким поведением: чрезмерное стремление выполнить задачу или склонность обходить контроль.

Подпишитесь на новости

В VK Business Analytics добавили ИИ для поиска сбоев в бизнес-процессах

Заказ опоздал, отделы кивают друг на друга, а крайний снова аналитик. VK Tech обновил VK Business Analytics: новые инструменты помогают находить причины проблем на стыке процессов, автоматически размечать рабочие операции и готовить задания для автоматизации.

О возможностях компания рассказала в своём блоге. Обновление затронуло Process Mining, Task Mining и ИИ-ассистента, который отвечает на вопросы с учётом того, как компания работает на самом деле.

В Process Mining появился мультипроцессный граф — общая схема связанных процессов на основе данных корпоративных систем. Например, он помогает выяснить, почему сорвался срок заказа: проблема могла возникнуть при согласовании документов, хотя заметили её уже на этапе исполнения.

В Task Mining ИИ взял на себя разметку операций. Алгоритм находит повторяющиеся цепочки действий на рабочих компьютерах, а языковая модель присваивает им понятные названия с учётом специфики бизнеса. Анализ ведётся без привязки к конкретным сотрудникам. На выходе — список направлений для оптимизации и технические задания для автоматизации.

ИИ-ассистент использует контекстную модель, собранную из данных обоих модулей. Она учитывает даже обходные шаги, которых нет в регламентах. Аналитик задаёт вопрос обычным языком, а получает текст, график, карту процесса или дашборд.

По замыслу разработчиков, ручного разбора станет меньше.

RSS: Новости на портале Anti-Malware.ru