Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Нейросеть для ЖКХ научилась материться в первый месяц обучения

Разработчикам отечественного голосового помощника для сферы ЖКХ пришлось «переучивать» систему после того, как в процессе обучения бот освоил ненормативную лексику. Этот случай наглядно показал, насколько критично качество данных, на которых обучаются нейросети.

О возникшей проблеме рассказал ТАСС президент Национального объединения организаций в сфере технологий информационного моделирования (НОТИМ) Михаил Викторов на Сибирском строительном форуме, который проходит в Новосибирске.

«Приведу забавный случай: нейросеть учится, и буквально уже в первый месяц разработчики обнаружили такую коллизию — нейросеть научилась мату. Как говорится, с кем поведёшься, от того и наберёшься. Эту проблему, конечно, пришлось устранять. Но это в том числе показатель активного взаимодействия с нашими гражданами», — рассказал Михаил Викторов.

При этом, по его словам, внедрение ботов позволило сократить число операторов кол-центров в 5–6 раз без потери качества обслуживания. Нейросетевые инструменты способны обрабатывать до 90% входящих обращений.

Уровень удовлетворённости качеством обслуживания, по оценке Викторова, составляет около 80%. Передавать звонки операторам целесообразно лишь в экстренных случаях — например, при аварийных ситуациях.

Эксперты ранее отмечали, что именно данные, на которых обучается ИИ, являются ключевой причиной появления некорректных или предвзятых ответов нейросетевых инструментов.

EvilMouse: мышь за $44, которая взламывает компьютеры за секунды

Исследователи показали, как обычная компьютерная мышь может превратиться в инструмент для взлома. Проект получил название EvilMouse, по сути это аппаратный кейлоггер-инжектор, спрятанный внутри стандартного USB-манипулятора. Стоимость сборки — около $44 (3 394 руб.).

По принципу работы EvilMouse напоминает известный инструмент USB Rubber Ducky, который эмулирует клавиатуру и автоматически вводит заранее запрограммированные команды.

Но есть важное отличие: EvilMouse продолжает работать как обычная мышь. Внешне и функционально устройство ничем не выдаёт себя.

Внутри корпуса разместили недорогие компоненты — микроконтроллер RP2040 Zero, USB-хаб и начинку стандартной мыши. Автор проекта перепрошил устройство с помощью CircuitPython: при подключении к компьютеру мышь автоматически выполняет набор команд и открывает обратный шелл на машине атакующего. По результатам тестов доступ к системе с правами администратора удаётся получить буквально за считаные секунды.

 

Сложность заключалась в физической сборке — в компактном корпусе пришлось удалять пластиковые перегородки, аккуратно паять контакты и изолировать элементы. Но технически проект оказался вполне реализуемым даже при базовых навыках работы с электроникой.

 

Главная проблема, на которую указывает автор, — это фактор доверия к «безобидной» периферии. Большинство сотрудников уже знают, что флешки могут быть опасны. А вот мышь, которая нормально двигает курсор, подозрений не вызывает. При этом устройство распознаётся системой как HID (Human Interface Device) и может отправлять команды, минуя многие стандартные механизмы защиты. В демонстрации атака проходила без срабатывания антивируса.

Исходный код проекта выложен на GitHub — автор подчёркивает, что работа носит исследовательский и образовательный характер. Однако сама концепция наглядно показывает: для компрометации системы не нужны дорогостоящие инструменты, достаточно фантазии и пары доступных компонентов.

RSS: Новости на портале Anti-Malware.ru