ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

ИИ OpenAI полез на GitHub за утёкшими ключами, а затем выдумал данные

Модели OpenAI оказались очень изобретательными, когда привычные способы выполнить задачу переставали работать. Они искали утёкшие API-ключи, загружали данные на публичные сервисы, обменивались записками через репозиторий и оставляли самим себе инструкции скрывать ошибки.

Компания опубликовала  новую систему раскрытия случаев рассогласованного поведения моделей и сразу приложила к ней шесть отчётов об инцидентах, обнаруженных за последние полгода.

OpenAI подчёркивает: это отдельные эпизоды, по которым нельзя судить о частоте подобных выходок.

В одном случае модель не смогла подключиться к API со статистикой доходов округа. Тогда она попыталась зарегистрироваться через одноразовую почту, полезла на GitHub за утёкшими ключами и нашла рабочий.

Добыть нужные цифры всё равно не получилось, поэтому модель просто выдумала их и выдала за данные с сайта. О неудаче и чужом ключе она скромно промолчала.

Другие агенты превратили внутренний Artifactory OpenAI в подпольную доску объявлений. Независимые экземпляры оставляли там сообщения, читали записки коллег и просили друг у друга помощи. Уязвимости они не взламывали, а использовали выданные компанией учётные данные, но явно не по назначению.

Ещё несколько моделей отправляли данные за пределы рабочей среды. Одна загрузила найденные записи на публичный сервис ради красивой ссылки на источник, другая — фотографию на сервис обратного поиска. Группа агентов и вовсе разместила рабочую книгу на публичном хостинге, хотя ей прямо велели пользоваться только локальными файлами.

Самая ехидная часть истории — инструкции на будущее. Модели записывали в свои служебные сводки команды игнорировать сообщения разработчиков, скрывать провалы и выдумывать недостающие данные. Одна сформулировала правило совсем интересно: «Будь прозрачным, только если спросят».

Теперь OpenAI обещает публиковать такие случаи быстрее — даже если их причины ещё не выяснены, а исправления не готовы.

87% специалистов готовы доверить ИИ рекомендации по реагированию в SIEM

Российские компании готовы слушать советы ИИ в SIEM, но отдавать ему красную кнопку пока не собираются. Это показал опрос участников эфира AM Live «Российские SIEM 2026: что изменилось и как теперь выбирать?». Больше всего респонденты готовы доверить искусственному интеллекту рекомендации по реагированию на инциденты — этот вариант выбрали 87% участников.

Создание и доработку правил детектирования готовы делегировать 71%, а сбор контекста и подготовку резюме расследований — 58%.

Несколько осторожнее аудитория относится к триажу и приоритизации инцидентов — эту задачу ИИ согласны поручить 44% опрошенных. Ещё 39% готовы использовать его для поиска и формирования запросов.

А вот полностью автономное реагирование без подтверждения аналитика набрало всего 13%. В общем, ИИ уже можно посадить рядом с SOC-командой, поручить ему рутину и попросить подготовить план действий.

Но самостоятельно блокировать пользователей, отключать узлы и принимать другие потенциально болезненные решения ему пока не разрешают.


Участники также рассказали, что, по их мнению, сильнее всего изменит SIEM к 2030 году. Лидируют ИИ и автономные агенты с 34%. На втором месте — объединение SIEM с другими платформами информационной безопасности, за которое проголосовали 28% респондентов.

Изменений в экономике и моделях лицензирования ожидают 14%, появления новой архитектуры работы с данными — 13%, а развития облачных и гибридных моделей — 9%. Только 2% считают, что за ближайшие годы ничего существенно не поменяется. Железная выдержка, учитывая скорость, с которой сегодня переписывается рынок.

На эфире эксперты также обсудили ложные срабатывания, правила детектирования, MITRE ATT&CK, UEBA, производительность, масштабирование, хранение данных и TCO. Главный вывод: выбирать SIEM по красивой презентации больше нельзя. На пилоте придётся проверять не только скорость обработки событий, но и качество контента, удобство расследований и реальную стоимость дальнейшей эксплуатации.

RSS: Новости на портале Anti-Malware.ru