Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Разработчикам отечественного голосового помощника для сферы ЖКХ пришлось «переучивать» систему после того, как в процессе обучения бот освоил ненормативную лексику. Этот случай наглядно показал, насколько критично качество данных, на которых обучаются нейросети.

О возникшей проблеме рассказал ТАСС президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов на Сибирском строительном форуме, который проходит в Новосибирске.

«Приведу забавный случай: нейросеть учится, и буквально уже в первый месяц разработчики обнаружили такую коллизию — нейросеть научилась мату. Как говорится, с кем поведёшься, от того и наберёшься. Эту проблему, конечно, пришлось устранять. Но это в том числе показатель активного взаимодействия с нашими гражданами», — рассказал Михаил Викторов.

При этом, по его словам, внедрение ботов позволило сократить число операторов кол-центров в 5–6 раз без потери качества обслуживания. Нейросетевые инструменты способны обрабатывать до 90% входящих обращений.

Уровень удовлетворённости качеством обслуживания, по оценке Викторова, составляет около 80%. Передавать звонки операторам целесообразно лишь в экстренных случаях — например, при аварийных ситуациях.

Эксперты ранее отмечали, что именно данные, на которых обучается ИИ, являются ключевой причиной появления некорректных или предвзятых ответов нейросетевых инструментов.

Mozilla закрыла 423 уязвимости в Firefox, найденные с помощью ИИ

Mozilla рассказала о результатах нового ИИ-подхода к поиску уязвимостей в Firefox. С помощью продвинутых моделей, включая Claude Mythos Preview и Claude Opus, разработчики нашли и уже исправили 423 скрытые проблемы в безопасности.

Главное отличие от ранних ИИ-аудитов в том, что система не просто генерировала подозрительные отчёты, а встраивалась в существующую фаззинг-инфраструктуру Firefox.

ИИ запускался в нескольких виртуальных машинах, проверял гипотезы, отсекал невоспроизводимые находки и создавал демонстрационный эксплойт (proof-of-concept) для реальных багов.

В итоге модели смогли найти ошибки, которые годами проходили мимо традиционных инструментов. Среди примеров есть 15-летняя проблема в HTML-элементе legend, 20-летняя уязвимость в XSLT, а также баги в обработке HTML-таблиц, WebAssembly, IndexedDB, WebTransport и HTTPS.

 

Часть находок была серьёзной: Use-After-Free, повреждение памяти, состояние гонки (race condition) через IPC и обходы песочницы для сторонних библиотек. То есть ИИ искал не только простые сбои, а довольно сложные цепочки, где нужно понимать устройство браузерного движка.

При этом Mozilla отмечает и обратную сторону: модели не смогли обойти некоторые уже внедрённые защитные механизмы Firefox. Например, архитектурные изменения с заморозкой прототипов по умолчанию помогли отбить попытки атак.

Закрытие такого объёма багов потребовало участия более 100 разработчиков и ревьюеров. Патчи вошли в недавние обновления Firefox, включая версии 149.0.2, 150.0.1 и 150.0.2.

Теперь Mozilla планирует встроить ИИ-анализ прямо в систему непрерывной интеграции. Идея в том, чтобы проверять не только существующий код, но и новые патчи ещё до их попадания в релиз.

RSS: Новости на портале Anti-Malware.ru