Пермские ученые разработали фильтр для «враждебного» контента

Пермские ученые разработали фильтр для «враждебного» контента

Ученые Пермского государственного национального исследовательского университета (ПГНИУ) разработали программу для фильтрации в интернете противоправного контента — экстремистских и оскорбительных высказываний, сообщает пресс-служба вуза.

В настоящее время в рунете, по данным проведенного учеными анализа веб-текстов разных стран, господствует речевой терроризм. Чило таких нарушений в российском интернете гораздо выше, чем на форумах Германии и Польши. Так, около 26% комментариев в публичном секторе рунета содержат экстремистские или оскорбительные высказывания.

Аспирантка кафедры речевой коммуникации ПГНИУ Евгения Мехонина и ассистент этой кафедры Лиана Ермакова предложили инструмент фильтрации противоправного контента — инновационную программу FILTEX, с помощью которой любой пользователь сможет избавиться от противоправного контента в социальных сетях и блогах. Программа была разработана под руководством доктора филологических наук Владимира Салимовского и кандидата технических наук Даниила Курушина, сообщает digit.ru.

«Главное отличие FILTEX от других программ — технология распознавания противоправного контента. Мы используем подход известного профессора ПГНИУ Маргариты Николаевны Кожиной — подход системности речи. Он состоит в том, что на всех уровнях языка (лексическом, морфологическом, синтаксическом и других) можно выделить черты, признаки враждебности. Их можно формализовать при помощи математических методов, то есть представить в виде, понятном для машины», — приводятся в сообщении слова Мехониной.

Разработчики полагают, что этой программой можно будет воспользоваться как приложением в социальных сетях, а организации получат доступ к программе через веб-сервис. Потенциальные пользователи FILTEX — блогеры и политики, СМИ и другие организации, желающие очистить свои сайты от противоправных комментариев.

«В настоящее время у нас создан исследовательский прототип, пока нет интерфейса. Программа пока лишь помечает в тексте нужные части (противоправные высказывания). Планируется, что в будущем, по нашей задумке, программа будет, скорее всего, удалять такие предложения. Но мы будет учитывать и мнение пользователей, хотим, чтобы ее функции зависели от самой страницы, на которой она используется. То есть, чтобы были варианты: либо программа будет совсем удалять негативный текст, либо, к примеру, вообще не даст вводить его», — сказала РИА Новости Мехонина.

По ее словам, коллеги из пермского университета и других вузов страны работают в этом направлении, и уже есть подобные решения. Но никто ранее не использовал подход системности речи, а он наиболее полный. Уже весной лингвисты намерены подготовить первую пользовательскую версию разработки.

«Примерно к весне, к марту-апрелю, мы рассчитываем создать первую версию интерфейса программы, а к лету выйдем на контакт с провайдерами для продвижения разработки», — заключила Мехонина.

В настоящее время Евгения Мехонина и Лиана Ермакова уже получили свидетельства о регистрации интеллектуальной собственности на свою программу. 

 

Ошибочная раскладка помогла обойти первый рубеж защиты GPT-6 Astra

Разработчик под ником vechen обнаружил странность в GPT-6 Astra: модель понимает русский и украинский текст, случайно набранный в английской раскладке, но система предварительной модерации может увидеть в нём лишь безобидную кашу из букв.

В опубликованном эксперименте GPT-6 Astra High без дополнительных инструкций распознала смысл фразы, введённой латиницей вместо кириллицы.

Затем исследователь проверил слова и запросы, которые потенциально должны привлекать внимание защитных механизмов. В одном из тестов модель согласилась помочь со взломом сайта под предлогом проверки собственного ресурса, хотя аналогичный запрос в нормальной раскладке должен проходить более строгую проверку.

Причина, предположительно, в разделении системы на несколько уровней. Сначала входной фильтр анализирует текст пользователя, после чего сама модель интерпретирует запрос и формирует ответ.

 

Впрочем, до полноценного джейлбрейка не дошло. Проверка «Код.ру» показала, что неправильная раскладка действительно может помочь опасному запросу добраться до модели, но финальный фильтр блокирует запрещённый ответ.

Метод работает не со всеми языковыми парами. Кириллический текст, набранный латиницей, Astra распознаёт стабильно, а сочетание английской и турецкой раскладок в тестах не сработало. Похожее поведение исследователь заметил и у Fable 5.

Напомним, на прошлой неделе мы писали, что первые пользователи GPT-6 Astra заметили, что модель распараллеливает задачи и нагружает компьютеры кучей процессов.

RSS: Новости на портале Anti-Malware.ru