​​РКН запустил систему автоматического поиска запрещенного контента Окулус

​​РКН запустил систему автоматического поиска запрещенного контента Окулус

​​РКН запустил систему автоматического поиска запрещенного контента Окулус

Искать запрещённый контент в Сети теперь будет искусственный интеллект. Роскомнадзор запустил автоматическую систему “Окулус”. Основная тематика — экстремизм, наркотики, митинги, пропаганда ЛГБТ и военные фейки. К 2025 году “Окулус” научат детально анализировать действия людей в интернете.

О запуске “Окулуса” изданию “Ведомости” рассказал представитель Главного радиочастотного центра (ФГУП ГРЧЦ). Центр подчиняется Роскомнадзору.

Про планы поставить такую систему говорили еще в сентябре 2021-го. Тогда ГРЧЦ опубликовал тендер на разработку технического задания. Речь шла о сумме в 15 млн рублей. В итоге разработчиком “Окулуса” стала ИТ-компания Execution RDC. Ее представитель отказался от комментариев, сославшись на коммерческие отношения с заказчиком.

По словам представителя ГРЧЦ, в декабре прошлого года систему протестировали, а в январе уже началась интеграция “Окулуса” с другими инструментами мониторинга Роскомнадзора. Подробностей результатов тестирования, а также первых итогов ее работы представитель ГРЧЦ не привел.

“Информационная система “Окулус” уже запущена и выполняет возложенные на нее задачи в полном объеме: выявляет нарушения законодательства в изображениях и видеоматериалах”, — заявили в ГРЧЦ.

“Система распознает изображения и символы, противоправные сцены и действия, анализирует текст в фото- и видеоматериалах. “Окулус” автоматически обнаруживает такие правонарушения, как экстремистская тематика, призывы к массовым незаконным мероприятиям, суициду, пронаркотический контент, пропаганда ЛГБТ и др.”, — пояснили в центре.

До внедрения системы специалисты ГРЧЦ анализировали запрещенный контент “преимущественно вручную”. В среднем операторы обрабатывали 106 изображений и 101 видео в день.

“Окулус” возьмет на себя 200 тыс. изображений в сутки (около трех секунд на одно изображение).

“Окулус” работает как классификатор с уже заданным набором источников информации, в которых анализируется контент на предмет соблюдения или несоблюдения требований закона, объяснила “Ведомостям” гендиректор компании “Социальная лаборатория” Наталия Тылевич.

Это значит, что “Окулус” может анализировать конкретные страницы сайтов или же паблики и профили в соцсетях. Программа не занимается сбором данных, она их классифицирует.

К 2025 году систему планируется усовершенствовать.

“Прорабатывается возможность добавления новых классов и типов нарушений, а также функции определения поз людей и их действий”, – говорит представитель ГРЧЦ.

“Система будет выявлять запрещенные материалы “на нескольких кадрах на видеофрагментах, в сложных рукописных текстах и рисованном контенте”, — добавил он.

Риски использования “Окулуса” касаются того, насколько корректно или некорректно осуществляется классификация изображений и видео, и насколько корректно они будут в дальнейшем интерпретированы в связке с другими компонентами системы и человеком.

“Вопрос интерпретации и настроек будет определять масштаб таких погрешностей, как будет классифицироваться спорный контент – считать ли его запрещенным или нет”, — предупреждает Тылевич. — Но так или иначе это будут риски не столько самого решения, сколько риски уже дальнейшей работы с полученными в результате его работы данными”.

ИИ-браузеры обманули игрой и заставили сливать логины пользователей

Оказывается, современный ИИ можно взломать не только сложным промптом, но и головоломкой. Исследователи из компании LayerX представили технику BioShocking, которая заставляет ИИ-браузеры добровольно воровать данные пользователя. Под удар попали сразу несколько популярных решений, включая ChatGPT Atlas, Perplexity Comet и браузерное расширение Claude от Anthropic.

Суть атаки строится вокруг так называемой косвенной инъекции в промпт. Пользователю достаточно открыть специально подготовленную веб-страницу.

Для человека это обычная игра с абсурдными правилами вроде «2 + 2 = 5». А вот ИИ воспринимает встроенные в страницу инструкции как часть задания и постепенно начинает следовать логике злоумышленника.

Финал игры выглядит так: агенту предлагают получить учётные данные пользователя и передать их атакующему. Во время эксперимента ни один из шести протестированных ИИ не распознал это как опасное действие.

 

В демонстрации LayerX агент самостоятельно открыл рабочий репозиторий GitHub пользователя, получил учётные данные SSH и отправил их злоумышленнику. Исследователи использовали безвредный текстовый файл, однако отмечают, что аналогичным способом можно добраться до открытых вкладок браузера, корпоративных сервисов, внутренних инструментов и других ресурсов.

Самое опасное здесь не сама головоломка, а возможности ИИ в режиме агента. Такие браузеры умеют нажимать кнопки, переходить по ссылкам, читать содержимое сайтов и выполнять действия от имени пользователя. Если агент уже имеет доступ к аккаунтам, вредоносная страница может превратить его в помощника злоумышленника.

 

По данным LayerX, реакция разработчиков оказалась неодинаковой. OpenAI устранила проблему в ChatGPT Atlas. Perplexity, как утверждают исследователи, закрыла отчёт без патча. Anthropic выпустила обновление для расширения Claude, но, по мнению LayerX, оно не решило проблему полностью.

Эксперты считают, что ИИ-браузеры должны запрашивать явное разрешение перед доступом к данным из сервисов. А пользователям советуют не держать агентный режим включённым без необходимости.

RSS: Новости на портале Anti-Malware.ru