Пермские ученые разработали фильтр для «враждебного» контента

Пермские ученые разработали фильтр для «враждебного» контента

Ученые Пермского государственного национального исследовательского университета (ПГНИУ) разработали программу для фильтрации в интернете противоправного контента — экстремистских и оскорбительных высказываний, сообщает пресс-служба вуза.

В настоящее время в рунете, по данным проведенного учеными анализа веб-текстов разных стран, господствует речевой терроризм. Чило таких нарушений в российском интернете гораздо выше, чем на форумах Германии и Польши. Так, около 26% комментариев в публичном секторе рунета содержат экстремистские или оскорбительные высказывания.

Аспирантка кафедры речевой коммуникации ПГНИУ Евгения Мехонина и ассистент этой кафедры Лиана Ермакова предложили инструмент фильтрации противоправного контента — инновационную программу FILTEX, с помощью которой любой пользователь сможет избавиться от противоправного контента в социальных сетях и блогах. Программа была разработана под руководством доктора филологических наук Владимира Салимовского и кандидата технических наук Даниила Курушина, сообщает digit.ru.

«Главное отличие FILTEX от других программ — технология распознавания противоправного контента. Мы используем подход известного профессора ПГНИУ Маргариты Николаевны Кожиной — подход системности речи. Он состоит в том, что на всех уровнях языка (лексическом, морфологическом, синтаксическом и других) можно выделить черты, признаки враждебности. Их можно формализовать при помощи математических методов, то есть представить в виде, понятном для машины», — приводятся в сообщении слова Мехониной.

Разработчики полагают, что этой программой можно будет воспользоваться как приложением в социальных сетях, а организации получат доступ к программе через веб-сервис. Потенциальные пользователи FILTEX — блогеры и политики, СМИ и другие организации, желающие очистить свои сайты от противоправных комментариев.

«В настоящее время у нас создан исследовательский прототип, пока нет интерфейса. Программа пока лишь помечает в тексте нужные части (противоправные высказывания). Планируется, что в будущем, по нашей задумке, программа будет, скорее всего, удалять такие предложения. Но мы будет учитывать и мнение пользователей, хотим, чтобы ее функции зависели от самой страницы, на которой она используется. То есть, чтобы были варианты: либо программа будет совсем удалять негативный текст, либо, к примеру, вообще не даст вводить его», — сказала РИА Новости Мехонина.

По ее словам, коллеги из пермского университета и других вузов страны работают в этом направлении, и уже есть подобные решения. Но никто ранее не использовал подход системности речи, а он наиболее полный. Уже весной лингвисты намерены подготовить первую пользовательскую версию разработки.

«Примерно к весне, к марту-апрелю, мы рассчитываем создать первую версию интерфейса программы, а к лету выйдем на контакт с провайдерами для продвижения разработки», — заключила Мехонина.

В настоящее время Евгения Мехонина и Лиана Ермакова уже получили свидетельства о регистрации интеллектуальной собственности на свою программу. 

 

По ту сторону ChatGPT: сотни подрядчиков читают реальные переписки

OpenAI привлекла сотни сторонних специалистов для ручного анализа диалогов пользователей с ChatGPT. Подрядчики видят реальные запросы и ответы, в которых могут встречаться личные, медицинские и другие конфиденциальные сведения.

По данным расследования 404 Media, работа проводится в рамках проекта Lily. Рецензенты кратко описывают запрос пользователя, сравнивают четыре варианта ответа модели и выставляют им оценки от одного до семи.

Отдельно они отмечают чрезмерную угодливость чат-бота, попытки очеловечить себя, неуместные эмодзи и другие особенности поведения.

Имена владельцев аккаунтов в интерфейсе скрываются, а переписки предварительно обрабатывает Privacy Filter. Однако OpenAI признала изданию, что система не всегда удаляет все персональные данные.

По утверждению журналистов, проверяющим также может показываться блок пользовательских воспоминаний с контекстом предыдущих разговоров и примерным местоположением.

Подрядчиков нанимают через внешние компании, включая Crossing Hurdles и Mercor. Некоторые специалисты получают более $50 в час. Подобный подход использует не только OpenAI: Anthropic также подтвердила 404 Media, что люди участвуют в оценке диалогов с Claude.

OpenAI официально указывает, что разговоры пользователей персональных тарифов могут применяться для улучшения моделей. Запретить использование новых чатов можно в разделе Settings → Data Controls, отключив параметр Improve the model for everyone.

Настройка действует на весь аккаунт, но не отменяет обработку данных, использованных ранее. Временные чаты не идут на обучение, хотя могут проверяться для выявления неправомерных действий.

RSS: Новости на портале Anti-Malware.ru