Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Разработчикам отечественного голосового помощника для сферы ЖКХ пришлось «переучивать» систему после того, как в процессе обучения бот освоил ненормативную лексику. Этот случай наглядно показал, насколько критично качество данных, на которых обучаются нейросети.

О возникшей проблеме рассказал ТАСС президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов на Сибирском строительном форуме, который проходит в Новосибирске.

«Приведу забавный случай: нейросеть учится, и буквально уже в первый месяц разработчики обнаружили такую коллизию — нейросеть научилась мату. Как говорится, с кем поведёшься, от того и наберёшься. Эту проблему, конечно, пришлось устранять. Но это в том числе показатель активного взаимодействия с нашими гражданами», — рассказал Михаил Викторов.

При этом, по его словам, внедрение ботов позволило сократить число операторов кол-центров в 5–6 раз без потери качества обслуживания. Нейросетевые инструменты способны обрабатывать до 90% входящих обращений.

Уровень удовлетворённости качеством обслуживания, по оценке Викторова, составляет около 80%. Передавать звонки операторам целесообразно лишь в экстренных случаях — например, при аварийных ситуациях.

Эксперты ранее отмечали, что именно данные, на которых обучается ИИ, являются ключевой причиной появления некорректных или предвзятых ответов нейросетевых инструментов.

ИИ заполонил хакерские форумы и начал раздражать самих киберпреступников

Форумы «чёрных» хакеров и киберпреступников заполонил контент, сгенерированный нейросетями. Его активно продвигают владельцы площадок, нередко на платной основе. Однако самих пользователей таких форумов всё сильнее раздражают большие объёмы низкокачественного ИИ-контента.

К такому выводу пришли исследователи из Эдинбургского университета. Они проанализировали почти 100 тыс. переписок с хакерских форумов, посвящённых искусственному интеллекту, за период с ноября 2022 года — момента выхода первой публично доступной версии ChatGPT — до конца 2025 года.

Как оказалось, пользователей раздражает вмешательство ИИ-ассистентов, которых продвигают владельцы площадок, а также большое количество контента, созданного нейросетями. Кроме того, появление ИИ-резюме в поисковых системах привело к снижению посещаемости форумов.

Между тем такие форумы выстраивали свою репутацию годами. Эти площадки стали не только местом поиска заказов, обмена инструментами и торговли массивами украденных данных, но и пространством для обычного общения. Однако всё чаще пользователи не пишут посты сами, а делегируют это ИИ-ассистентам. Это раздражает тех, кто приходит на такие форумы именно за живым взаимодействием.

Злоумышленники также пытаются использовать искусственный интеллект в атаках. В некоторых сценариях это действительно даёт заметный эффект — например, при автоматизации операций социальной инженерии или генерации фишинговых сообщений. В таких случаях ИИ позволяет даже в массовых атаках повысить конверсию до уровня, который раньше был характерен скорее для целевого фишинга.

Авторы исследования также указывают на активное применение ИИ в схемах с ботами в мессенджерах и мошенничестве на сайтах знакомств, где используются дипфейки и образы несуществующих людей.

Однако при написании вредоносного кода с помощью ИИ результаты, как правило, не впечатляют — примерно так же, как и при создании легитимного кода. Качество обычно остаётся низким. А в случае хакерских инструментов ошибки и уязвимости, характерные для ИИ-сгенерированного кода, могут даже раскрывать инфраструктуру их авторов.

Пока исследователи не видят радикального эффекта от использования ИИ в киберпреступной среде. Особенно это касается заметного снижения порога входа. Также не зафиксировано существенного влияния ИИ на бизнес-модели и другие процессы таких сообществ — ни в положительную, ни в отрицательную сторону.

RSS: Новости на портале Anti-Malware.ru