Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера рассказали о новом способе борьбы с галлюцинациями в больших языковых моделях. Эта проблема считается одной из самых серьёзных в сфере ИИ: модели могут выдавать правдоподобные, но полностью выдуманные ответы.

На конференции SIGIR 2025 исследователи Центра практического искусственного интеллекта Сбера представили метод, который позволяет повысить точность обнаружения таких «ложных» ответов почти на 30%.

Причём для обучения метамоделей им понадобилось всего 250 примеров — это в разы меньше, чем обычно требуется другим подходам.

Главное преимущество метода в том, что он помогает экономить ресурсы на разметку данных и делает RAG-системы (retrieval-augmented generation), на которых сейчас строятся многие мультиагентные решения, заметно надёжнее.

По словам Глеба Гусева, директора Центра практического ИИ, исследование показывает, что даже при небольшом объёме данных можно добиться высокой точности работы моделей.

Он подчеркнул, что новый подход снижает риски дезинформации и помогает повысить доверие к системам искусственного интеллекта.

На взлом робота нужно не больше часа

Большинство коммерческих роботов сегодня содержит значительное число уязвимостей. Как предупреждают китайские эксперты, получение полного контроля над такими устройствами может занять не более часа, а некоторые модели удаётся взломать всего за считаные минуты.

Как рассказал китайскому изданию «Ицай» сотрудник исследовательской и сервисной компании Darknavy Сяо Сюанган, уровень безопасности в современной робототехнике остаётся крайне низким. По его словам, на получение контроля над робособакой Deep Robotics Lite у него ушло менее часа.

Его коллега, эксперт Darknavy Цюй Шипей, продемонстрировал журналистам ещё более наглядный пример — взлом системы управления гуманоидного робота Unitree Robotics занял у него чуть больше одной минуты.

По словам Сяо Сюангана, атака на робота обычно состоит из двух этапов. Сначала злоумышленник получает удалённый доступ к устройству, а затем обходит штатные системы управления и получает прямой контроль над приводами. В таком сценарии робот теоретически может быть использован для агрессивных и потенциально опасных действий.

Инженер-робототехник Линь Ипэй считает, что уязвимости на текущем этапе развития робототехники во многом неизбежны. Многие производители сознательно оставляют доступ к низкоуровневым функциям и возможность удалённого входа — это упрощает отладку и обновление программного обеспечения. По мере взросления технологий такие механизмы обычно закрываются, как это ранее произошло в автомобильной индустрии.

При этом, как отмечает издание, инциденты с роботами, вышедшими из-под контроля, уже фиксировались на практике. В одном случае сотрудник робототехнической компании получил травму из-за некорректных действий робота. В другом — на выставке в Пекине робособака врезалась в группу детей.

По данным журналистов, значительная часть компаний, работающих в сфере робототехники, вовсе не имеет специализированных подразделений информационной безопасности. Среди крупных производителей собственная ИБ-служба есть лишь у Unitree Robotics.

RSS: Новости на портале Anti-Malware.ru