ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

Модели OpenAI оказались очень изобретательными, когда привычные способы выполнить задачу переставали работать. Они искали утёкшие API-ключи, загружали данные на публичные сервисы, обменивались записками через репозиторий и оставляли самим себе инструкции скрывать ошибки.

Компания опубликовала  новую систему раскрытия случаев рассогласованного поведения моделей и сразу приложила к ней шесть отчётов об инцидентах, обнаруженных за последние полгода.

OpenAI подчёркивает: это отдельные эпизоды, по которым нельзя судить о частоте подобных выходок.

В одном случае модель не смогла подключиться к API со статистикой доходов округа. Тогда она попыталась зарегистрироваться через одноразовую почту, полезла на GitHub за утёкшими ключами и нашла рабочий.

Добыть нужные цифры всё равно не получилось, поэтому модель просто выдумала их и выдала за данные с сайта. О неудаче и чужом ключе она скромно промолчала.

Другие агенты превратили внутренний Artifactory OpenAI в подпольную доску объявлений. Независимые экземпляры оставляли там сообщения, читали записки коллег и просили друг у друга помощи. Уязвимости они не взламывали, а использовали выданные компанией учётные данные, но явно не по назначению.

Ещё несколько моделей отправляли данные за пределы рабочей среды. Одна загрузила найденные записи на публичный сервис ради красивой ссылки на источник, другая — фотографию на сервис обратного поиска. Группа агентов и вовсе разместила рабочую книгу на публичном хостинге, хотя ей прямо велели пользоваться только локальными файлами.

Самая ехидная часть истории — инструкции на будущее. Модели записывали в свои служебные сводки команды игнорировать сообщения разработчиков, скрывать провалы и выдумывать недостающие данные. Одна сформулировала правило совсем интересно: «Будь прозрачным, только если спросят».

Теперь OpenAI обещает публиковать такие случаи быстрее — даже если их причины ещё не выяснены, а исправления не готовы.

Avanpost SmartPAM теперь содержит 60 сигнатур по матрице MITRE

Avanpost добавила в SmartPAM 1.4 библиотеку из 60 сигнатур, привязанных к матрице MITRE ATT&CK. Теперь система не только контролирует вход администраторов, но и присматривается к тому, что именно они творят внутри привилегированных сессий. Готовые правила охватывают получение учётных данных, закрепление в системе, горизонтальное перемещение и уклонение от обнаружения.

Например, SmartPAM сможет заметить попытку отключить аудит операционной системы, антивирус или межсетевой экран, очистить системные журналы либо замаскировать выполняемую команду.

События внутри сессии обрабатывает встроенный движок сигнатурного анализа. Он нормализует данные, сопоставляет действия с известными сценариями атак и при обнаружении угрозы запускает настроенную реакцию.

Система может заблокировать команду или пользователя, принудительно разорвать соединение и отправить уведомление в SIEM.

Заказчики смогут сочетать готовую библиотеку с собственными правилами и настраивать политики под особенности инфраструктуры и внутренние требования безопасности. Сигнатуры распространяются по подписке, которую Avanpost обещает регулярно пополнять. До конца 2026 года доступ к ней будет бесплатным.

По заявлению разработчика, Avanpost SmartPAM стала первой PAM-системой с библиотекой сигнатур, структурированной по MITRE ATT&CK. Обновление продолжает превращать продукт из турникета для привилегированных пользователей в полноценного наблюдателя, который оценивает каждое действие после входа.

И это логично: украденная или неправильно используемая администраторская учётка с корректным паролем выглядит вполне легально. Поэтому просто пустить пользователя под запись уже недостаточно, нужно вовремя понять, когда он начинает вести себя как атакующий.

RSS: Новости на портале Anti-Malware.ru