Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Разработчикам отечественного голосового помощника для сферы ЖКХ пришлось «переучивать» систему после того, как в процессе обучения бот освоил ненормативную лексику. Этот случай наглядно показал, насколько критично качество данных, на которых обучаются нейросети.

О возникшей проблеме рассказал ТАСС президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов на Сибирском строительном форуме, который проходит в Новосибирске.

«Приведу забавный случай: нейросеть учится, и буквально уже в первый месяц разработчики обнаружили такую коллизию — нейросеть научилась мату. Как говорится, с кем поведёшься, от того и наберёшься. Эту проблему, конечно, пришлось устранять. Но это в том числе показатель активного взаимодействия с нашими гражданами», — рассказал Михаил Викторов.

При этом, по его словам, внедрение ботов позволило сократить число операторов кол-центров в 5–6 раз без потери качества обслуживания. Нейросетевые инструменты способны обрабатывать до 90% входящих обращений.

Уровень удовлетворённости качеством обслуживания, по оценке Викторова, составляет около 80%. Передавать звонки операторам целесообразно лишь в экстренных случаях — например, при аварийных ситуациях.

Эксперты ранее отмечали, что именно данные, на которых обучается ИИ, являются ключевой причиной появления некорректных или предвзятых ответов нейросетевых инструментов.

ГК «Солар» и SEG-T разрабатывают почтовый шлюз с ИИ-фильтрацией

Ко-фаундер Secure-T Харитон Никишкин при поддержке ГК «Солар» запустил разработку решения SEG-T для защиты корпоративной почты. Продукт относится к классу security email gateway и должен фильтровать входящий и исходящий почтовый трафик с помощью мультиагентного ИИ.

Разработчики связывают запуск проекта с ростом фишинговых атак.

Сегодня такие кампании всё чаще собираются из готовых инструментов: панелей управления, инфраструктуры рассылки, антибот-механизмов, модулей перехвата одноразовых кодов и других компонентов. Дополнительно атакующие используют ИИ, чтобы быстрее готовить убедительные письма и масштабировать обман.

SEG-T должен анализировать сообщения не только по техническим признакам, но и по смыслу. ИИ будет оценивать тональность письма, признаки манипуляции, попытки вызвать доверие, страх или срочно подтолкнуть адресата к действию. Также система сможет блокировать письма со ссылками, архивами, PDF, исполняемыми файлами, SVG и другими вложениями, которые могут содержать вредоносный контент.

От отдельной встроенной «песочницы» разработчики отказались. По их оценке, значительная часть современных атак строится не на вредоносном коде, а на социальной инженерии: подмене отправителя, психологическом давлении и попытках заставить пользователя самому выполнить нужное действие. Для критичных вложений при этом планируют оставить возможность подключать внешние «песочницы».

Решение также предполагается использовать вместе с другими продуктами «Солара»: например, с Solar webProxy для проверки трафика и Solar Dozor для контроля пересылки персональных данных — ИНН, СНИЛС, паспортных данных и номеров банковских карт.

SEG-T будет доступен в облаке, локальной сети и Kubernetes. По заявлению разработчиков, запуск продукта в эксплуатацию в среднем должен занимать около 15 минут.

В проекте «Солару» принадлежит 49%. Ранее компания уже увеличила долю в Secure-T до контрольного пакета. Новый проект продолжает направление, связанное с защитой от фишинга, спама, вредоносных рассылок и атак на корпоративную почту.

RSS: Новости на портале Anti-Malware.ru