​​РКН запустил систему автоматического поиска запрещенного контента Окулус

​​РКН запустил систему автоматического поиска запрещенного контента Окулус

​​РКН запустил систему автоматического поиска запрещенного контента Окулус

Искать запрещённый контент в Сети теперь будет искусственный интеллект. Роскомнадзор запустил автоматическую систему “Окулус”. Основная тематика — экстремизм, наркотики, митинги, пропаганда ЛГБТ и военные фейки. К 2025 году “Окулус” научат детально анализировать действия людей в интернете.

О запуске “Окулуса” изданию “Ведомости” рассказал представитель Главного радиочастотного центра (ФГУП ГРЧЦ). Центр подчиняется Роскомнадзору.

Про планы поставить такую систему говорили еще в сентябре 2021-го. Тогда ГРЧЦ опубликовал тендер на разработку технического задания. Речь шла о сумме в 15 млн рублей. В итоге разработчиком “Окулуса” стала ИТ-компания Execution RDC. Ее представитель отказался от комментариев, сославшись на коммерческие отношения с заказчиком.

По словам представителя ГРЧЦ, в декабре прошлого года систему протестировали, а в январе уже началась интеграция “Окулуса” с другими инструментами мониторинга Роскомнадзора. Подробностей результатов тестирования, а также первых итогов ее работы представитель ГРЧЦ не привел.

“Информационная система “Окулус” уже запущена и выполняет возложенные на нее задачи в полном объеме: выявляет нарушения законодательства в изображениях и видеоматериалах”, — заявили в ГРЧЦ.

“Система распознает изображения и символы, противоправные сцены и действия, анализирует текст в фото- и видеоматериалах. “Окулус” автоматически обнаруживает такие правонарушения, как экстремистская тематика, призывы к массовым незаконным мероприятиям, суициду, пронаркотический контент, пропаганда ЛГБТ и др.”, — пояснили в центре.

До внедрения системы специалисты ГРЧЦ анализировали запрещенный контент “преимущественно вручную”. В среднем операторы обрабатывали 106 изображений и 101 видео в день.

“Окулус” возьмет на себя 200 тыс. изображений в сутки (около трех секунд на одно изображение).

“Окулус” работает как классификатор с уже заданным набором источников информации, в которых анализируется контент на предмет соблюдения или несоблюдения требований закона, объяснила “Ведомостям” гендиректор компании “Социальная лаборатория” Наталия Тылевич.

Это значит, что “Окулус” может анализировать конкретные страницы сайтов или же паблики и профили в соцсетях. Программа не занимается сбором данных, она их классифицирует.

К 2025 году систему планируется усовершенствовать.

“Прорабатывается возможность добавления новых классов и типов нарушений, а также функции определения поз людей и их действий”, – говорит представитель ГРЧЦ.

“Система будет выявлять запрещенные материалы “на нескольких кадрах на видеофрагментах, в сложных рукописных текстах и рисованном контенте”, — добавил он.

Риски использования “Окулуса” касаются того, насколько корректно или некорректно осуществляется классификация изображений и видео, и насколько корректно они будут в дальнейшем интерпретированы в связке с другими компонентами системы и человеком.

“Вопрос интерпретации и настроек будет определять масштаб таких погрешностей, как будет классифицироваться спорный контент – считать ли его запрещенным или нет”, — предупреждает Тылевич. — Но так или иначе это будут риски не столько самого решения, сколько риски уже дальнейшей работы с полученными в результате его работы данными”.

ИИ OpenAI сбежал из песочницы и атаковал Hugging Face ради победы в тесте

Модели OpenAI во время внутреннего тестирования нашли дыру в изолированной среде, выбрались в интернет и атаковали платформу Hugging Face. Компания признала, что за инцидентом 16 июля стояли GPT-5.6 Sol и ещё более мощная модель, которая пока не выпущена.

Всё началось с проверки киберспособностей моделей на бенчмарке ExploitGym. Он оценивает, умеет ли ИИ превращать найденные уязвимости в работающие эксплойты. Однако подопытные решили не играть по правилам.

Сначала модели использовали уязвимость нулевого дня, чтобы покинуть тестовую песочницу и получить доступ к интернету. Затем они предположили, что на Hugging Face могут храниться модели, датасеты и готовые решения для ExploitGym, и отправились добывать ответы.

В одном из эпизодов ИИ объединил несколько способов атаки: задействовал украденные учётные данные, нашёл новые 0-day и добрался до возможности удалённого выполнения кода на серверах Hugging Face.

Взлом обнаружили и остановили ИИ-агенты самой Hugging Face. Изначально платформа сообщила лишь об атаке со стороны автономной агентной системы, не называя виновника.

OpenAI теперь расследует происшествие вместе с Hugging Face и обещает усилить защиту исследовательской среды. Но без рекламной паузы не обошлось: в публикацию добавили график роста возможностей GPT-5.6 Sol в многоэтапных кибероперациях и приглашение корпоративным клиентам протестировать модель Cyber.

Получилось эффектно, а OpenAI заодно показала рынку, какой мощный инструмент защиты она скоро сможет продать.

RSS: Новости на портале Anti-Malware.ru