Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор готовится запустить ИИ-систему поиска запрещённого контента

Роскомнадзор в скором времени может запустить усовершенствованную систему поиска незаконного контента в Сети, в основу которой ляжет искусственный интеллект (ИИ). Система, получившая имя «Окулус», должна повысить эффективность обнаружения экстремистских и порнографических материалов в изображениях и видео.

Разработкой «Окулус» будет заниматься Главный радиочастотный центр (ГРЧЦ), который в настоящее время подведомственен РКН. Эксперты же опасаются, что введение систему в эксплуатацию может замедлить работу веб-ресурсов.

Согласно информации, которую сотрудники издания «КоммерсантЪ» нашли на портале госзакупок, «Окулус» планируют запустить в 2022 году. Стоимость опубликованного ГРЧЦ тендера на разработку технического задания составила 15 миллионов рублей.

Системе доверят задачу выявления следующего контента: пропаганда наркотиков, порнография, экстремистские материалы, призывы к самоубийству и массовым беспорядкам. Ранее этот поиск в изображениях и видеозаписях происходил вручную, а в следующем году этим уже будет заниматься «Окулус». Ожидается, что работы завершат до 17 декабря.

Аналитики считают, что контент в текстовом виде значительно уступает фото- и видеоматериалам по воздействию на сознание пользователей Сети. Поэтому «Окулус» будет решать проблему постинга противоправных изображений и видеозаписей, которые могут потенциально навредить подросткам.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.

ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).

Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.

Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.

Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.

Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.

В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.

И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru