Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор в скором времени может запустить усовершенствованную систему поиска незаконного контента в Сети, в основу которой ляжет искусственный интеллект (ИИ). Система, получившая имя «Окулус», должна повысить эффективность обнаружения экстремистских и порнографических материалов в изображениях и видео.

Разработкой «Окулус» будет заниматься Главный радиочастотный центр (ГРЧЦ), который в настоящее время подведомственен РКН. Эксперты же опасаются, что введение систему в эксплуатацию может замедлить работу веб-ресурсов.

Согласно информации, которую сотрудники издания «КоммерсантЪ» нашли на портале госзакупок, «Окулус» планируют запустить в 2022 году. Стоимость опубликованного ГРЧЦ тендера на разработку технического задания составила 15 миллионов рублей.

Системе доверят задачу выявления следующего контента: пропаганда наркотиков, порнография, экстремистские материалы, призывы к самоубийству и массовым беспорядкам. Ранее этот поиск в изображениях и видеозаписях происходил вручную, а в следующем году этим уже будет заниматься «Окулус». Ожидается, что работы завершат до 17 декабря.

Аналитики считают, что контент в текстовом виде значительно уступает фото- и видеоматериалам по воздействию на сознание пользователей Сети. Поэтому «Окулус» будет решать проблему постинга противоправных изображений и видеозаписей, которые могут потенциально навредить подросткам.

ИИ находит ошибки быстрее, чем их могут исправлять

Многие команды разработчиков опенсорс-проектов столкнулись с потоком сообщений об ошибках и уязвимостях, которые выявляют ИИ-модели. Для многих проектов, особенно небольших, это стало серьёзной проблемой: устранять такие находки по мере их поступления они попросту не успевают. В результате ситуация начинает нести заметные риски для безопасности.

О проблеме сообщило агентство Bloomberg. Издание приводит слова Дэниела Стенберга из проекта cURL: только за 2025 год команда получила 181 сообщение об ошибках и уязвимостях — больше, чем за 2023 и 2024 годы вместе взятые.

По словам специалиста, рост числа багрепортов напрямую связан с распространением ИИ-моделей. Как отметил Стенберг, ситуация продолжает ухудшаться. С начала 2026 года команда проекта уже получила 87 сообщений об ошибках, а по итогам года их число может приблизиться к 330.

Рост активности связывают с появлением новой ИИ-модели Mythos от Anthropic. Она позволяет находить проблемный код быстрее, чем предыдущие поколения таких систем, не говоря уже о людях, которые проводят аудит вручную или с помощью традиционных инструментов.

Многие другие проекты, столкнувшись с валом отчётов об ошибках, сгенерированных с помощью ИИ, вообще прекратили их приём. Разработчики сравнивают этот поток с DDoS-атакой, называя его «пугающим» и крайне сложным для обработки.

Понимая возможные риски, связанные с тем, что новая модель сможет находить уязвимости быстрее, чем разработчики будут успевать их устранять, Anthropic не стала выпускать Mythos в открытый доступ. Вместо этого компания ограничила доступ к ней, предоставив его только ключевым организациям, включая CrowdStrike и Linux Foundation.

Как подчёркивает Bloomberg, вся индустрия во многом зависит от результатов работы проектов с открытым исходным кодом, которыми нередко занимаются небольшие команды с ограниченными ресурсами. Ситуацию дополнительно осложняет наличие большого объёма устаревшего кода, который может быть использован во вредоносных целях.

Показательный пример — история с WannaCry: авторы этого шифровальщика использовали устаревший драйвер Windows для распространения зловреда. При этом удалить такой компонент не всегда возможно без риска нарушить работу критически важных функций системы.

RSS: Новости на портале Anti-Malware.ru