Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор в скором времени может запустить усовершенствованную систему поиска незаконного контента в Сети, в основу которой ляжет искусственный интеллект (ИИ). Система, получившая имя «Окулус», должна повысить эффективность обнаружения экстремистских и порнографических материалов в изображениях и видео.

Разработкой «Окулус» будет заниматься Главный радиочастотный центр (ГРЧЦ), который в настоящее время подведомственен РКН. Эксперты же опасаются, что введение систему в эксплуатацию может замедлить работу веб-ресурсов.

Согласно информации, которую сотрудники издания «КоммерсантЪ» нашли на портале госзакупок, «Окулус» планируют запустить в 2022 году. Стоимость опубликованного ГРЧЦ тендера на разработку технического задания составила 15 миллионов рублей.

Системе доверят задачу выявления следующего контента: пропаганда наркотиков, порнография, экстремистские материалы, призывы к самоубийству и массовым беспорядкам. Ранее этот поиск в изображениях и видеозаписях происходил вручную, а в следующем году этим уже будет заниматься «Окулус». Ожидается, что работы завершат до 17 декабря.

Аналитики считают, что контент в текстовом виде значительно уступает фото- и видеоматериалам по воздействию на сознание пользователей Сети. Поэтому «Окулус» будет решать проблему постинга противоправных изображений и видеозаписей, которые могут потенциально навредить подросткам.

Эксперты: за год число вредоносных opensource-компонентов возросло в 11 раз

В 2025 году в компании CodeScoring зарегистрировали 457 тыс. вредоносных библиотек с открытым исходным кодом — в 11 раз больше, чем в предыдущем году. Зафиксировано также 14 тыс. новых уязвимостей в таких компонентах.

По словам специалистов, сохраняют актуальность и более ранние неприятные находки — к примеру, RCE-уязвимость Log4Shell, которая все еще присутствует в 15 тыс. сторонних библиотек. Публикация подобных пакетов грозит атаками на цепочку поставок.

В уходящем году также зафиксировано появление новой, еще более опасной угрозы — самоходного червя Shai Hulud, способного создавать новые репозитории и воровать конфиденциальные данные с CI/CD-платформ.

В связи с бурным ростом популярности ИИ объявился новый вектор атаки — slopsquatting: злоумышленники начали использовать склонность больших языковых моделей (БЯМ, LLM) к галлюцинациям для внедрения в легитимные проекты небезопасного кода.

Из-за этой особенности умный помощник по разработке может ошибиться и вместо легитимной библиотеки предложить для использования вредоносную со схожим названием. По данным CodeScoring, в России ИИ-ассистентов применяют 30% разработчиков, и потенциально опасные галлюцинации происходят у LLM в 20% случаев.

Чтобы защититься от атак на цепочку поставок, эксперты советуют вести тщательный учет компонентов, используемых для сборки софта, при установке библиотек выставлять запрет на исполнение скриптов, а также следовать стандарту ГОСТ Р 56939-2024 и активнее внедрять технологии безопасной разработки.

RSS: Новости на портале Anti-Malware.ru