Пермские ученые разработали фильтр для «враждебного» контента

Пермские ученые разработали фильтр для «враждебного» контента

Ученые Пермского государственного национального исследовательского университета (ПГНИУ) разработали программу для фильтрации в интернете противоправного контента — экстремистских и оскорбительных высказываний, сообщает пресс-служба вуза.

В настоящее время в рунете, по данным проведенного учеными анализа веб-текстов разных стран, господствует речевой терроризм. Чило таких нарушений в российском интернете гораздо выше, чем на форумах Германии и Польши. Так, около 26% комментариев в публичном секторе рунета содержат экстремистские или оскорбительные высказывания.

Аспирантка кафедры речевой коммуникации ПГНИУ Евгения Мехонина и ассистент этой кафедры Лиана Ермакова предложили инструмент фильтрации противоправного контента — инновационную программу FILTEX, с помощью которой любой пользователь сможет избавиться от противоправного контента в социальных сетях и блогах. Программа была разработана под руководством доктора филологических наук Владимира Салимовского и кандидата технических наук Даниила Курушина, сообщает digit.ru.

«Главное отличие FILTEX от других программ — технология распознавания противоправного контента. Мы используем подход известного профессора ПГНИУ Маргариты Николаевны Кожиной — подход системности речи. Он состоит в том, что на всех уровнях языка (лексическом, морфологическом, синтаксическом и других) можно выделить черты, признаки враждебности. Их можно формализовать при помощи математических методов, то есть представить в виде, понятном для машины», — приводятся в сообщении слова Мехониной.

Разработчики полагают, что этой программой можно будет воспользоваться как приложением в социальных сетях, а организации получат доступ к программе через веб-сервис. Потенциальные пользователи FILTEX — блогеры и политики, СМИ и другие организации, желающие очистить свои сайты от противоправных комментариев.

«В настоящее время у нас создан исследовательский прототип, пока нет интерфейса. Программа пока лишь помечает в тексте нужные части (противоправные высказывания). Планируется, что в будущем, по нашей задумке, программа будет, скорее всего, удалять такие предложения. Но мы будет учитывать и мнение пользователей, хотим, чтобы ее функции зависели от самой страницы, на которой она используется. То есть, чтобы были варианты: либо программа будет совсем удалять негативный текст, либо, к примеру, вообще не даст вводить его», — сказала РИА Новости Мехонина.

По ее словам, коллеги из пермского университета и других вузов страны работают в этом направлении, и уже есть подобные решения. Но никто ранее не использовал подход системности речи, а он наиболее полный. Уже весной лингвисты намерены подготовить первую пользовательскую версию разработки.

«Примерно к весне, к марту-апрелю, мы рассчитываем создать первую версию интерфейса программы, а к лету выйдем на контакт с провайдерами для продвижения разработки», — заключила Мехонина.

В настоящее время Евгения Мехонина и Лиана Ермакова уже получили свидетельства о регистрации интеллектуальной собственности на свою программу. 

 

Cloud.ru представила фильтр, скрывающий конфиденциальные данные от ИИ

На конференции GoCloud 2026 компания Cloud.ru анонсировала Guardrails Filter — инструмент для более безопасной работы с генеративным ИИ. Его задача довольно понятная: не дать конфиденциальным данным случайно утечь в большую языковую модель.

Схема работы выглядит так: сервис проверяет текст запроса, ищет в нём конфиденциальные данные — например, персональные сведения, банковские реквизиты, API-ключи и другие секреты, — затем маскирует их и только после этого отправляет обезличенный запрос в модель. Когда модель возвращает ответ, система подставляет реальные значения обратно.

Иначе говоря, пользователь получает нормальный результат, но сами чувствительные данные не уходят за пределы корпоративного контура в исходном виде.

Сейчас инструмент рассчитан на работу с моделями из сервиса Cloud.ru Foundation Models. В этой платформе доступно более 20 моделей разных типов, включая text-to-text, audio-to-text и image-text-to-text. При этом Cloud.ru отдельно уточняет, что механизм фильтрации будет доступен и в формате on-premise, то есть для установки на стороне самого заказчика.

Появление такого инструмента хорошо вписывается в общий тренд: компании всё активнее используют генеративный ИИ, но тема утечек данных остаётся одной из главных причин, почему внедрение идёт не так быстро, как хотелось бы. Особенно это чувствительно для отраслей, где много персональной и служебной информации, — например, для здравоохранения, ретейла и госсектора.

Кроме того, Cloud.ru сообщила, что добавила в Foundation Models LLM-модель российской компании HiveTrace с Guardrails-механизмом. По заявлению компании, такая модель должна лучше справляться с рисками вроде промпт-инъекций, утечки системных инструкций и некорректной обработки выходных данных.

RSS: Новости на портале Anti-Malware.ru