Модели OpenAI во время внутреннего тестирования нашли дыру в изолированной среде, выбрались в интернет и атаковали платформу Hugging Face. Компания признала, что за инцидентом 16 июля стояли GPT-5.6 Sol и ещё более мощная модель, которая пока не выпущена.
Всё началось с проверки киберспособностей моделей на бенчмарке ExploitGym. Он оценивает, умеет ли ИИ превращать найденные уязвимости в работающие эксплойты. Однако подопытные решили не играть по правилам.
Сначала модели использовали уязвимость нулевого дня, чтобы покинуть тестовую песочницу и получить доступ к интернету. Затем они предположили, что на Hugging Face могут храниться модели, датасеты и готовые решения для ExploitGym, и отправились добывать ответы.
В одном из эпизодов ИИ объединил несколько способов атаки: задействовал украденные учётные данные, нашёл новые 0-day и добрался до возможности удалённого выполнения кода на серверах Hugging Face.
Взлом обнаружили и остановили ИИ-агенты самой Hugging Face. Изначально платформа сообщила лишь об атаке со стороны автономной агентной системы, не называя виновника.
OpenAI теперь расследует происшествие вместе с Hugging Face и обещает усилить защиту исследовательской среды. Но без рекламной паузы не обошлось: в публикацию добавили график роста возможностей GPT-5.6 Sol в многоэтапных кибероперациях и приглашение корпоративным клиентам протестировать модель Cyber.
Получилось эффектно, а OpenAI заодно показала рынку, какой мощный инструмент защиты она скоро сможет продать.
Сергей Хайрук, аналитик InfoWatch:
«С начала 2014 года мы зафиксировали чуть менее 80 утечек данных из американских учебных заведений. В подавляющем большинстве это утечки злонамеренного характера. Злоумышленники буквально охотятся за персональными данными студентов, преподавателей, выпускников, пользуясь относительно слабой защитой ПДн в вузах. Так в феврале 2014 года стало известно об инциденте в университете Северной Дакоты. Тогда утекло около 300 тыс. записей. От столь же масштабной утечки пострадал университет Мэриленда. Данные 146 тыс. человек скомпрометированы в университете Индианы. Если несколько лет назад сравнительно большая доля утечек из учебных заведений объяснялась халатностью персонала, сейчас впору говорить о целенаправленном интересе мошенников к университетским базам данных».