Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера рассказали о новом способе борьбы с галлюцинациями в больших языковых моделях. Эта проблема считается одной из самых серьёзных в сфере ИИ: модели могут выдавать правдоподобные, но полностью выдуманные ответы.

На конференции SIGIR 2025 исследователи Центра практического искусственного интеллекта Сбера представили метод, который позволяет повысить точность обнаружения таких «ложных» ответов почти на 30%.

Причём для обучения метамоделей им понадобилось всего 250 примеров — это в разы меньше, чем обычно требуется другим подходам.

Главное преимущество метода в том, что он помогает экономить ресурсы на разметку данных и делает RAG-системы (retrieval-augmented generation), на которых сейчас строятся многие мультиагентные решения, заметно надёжнее.

По словам Глеба Гусева, директора Центра практического ИИ, исследование показывает, что даже при небольшом объёме данных можно добиться высокой точности работы моделей.

Он подчеркнул, что новый подход снижает риски дезинформации и помогает повысить доверие к системам искусственного интеллекта.

Telegram запустил ботов-секретарей, мошенники уже взяли их в оборот

Не успел Telegram запустить ботов-секретарей для автоматизации переписки, как мошенники начали использовать новую функцию в своих схемах. В конце мая Павел Дуров представил помощников, которых можно подключать к личным сообщениям. Такие боты способны сортировать переписку, выделять важные сообщения, готовить ответы и помогать разбираться с потоком чатов.

Как рассказали эксперты, пользователям уже предлагают фальшивые сервисы для умной обработки сообщений, автоответов и интеграции с ИИ.

Для подключения обычно просят пройти дополнительную аутентификацию или скачать специальное приложение.

Под видом полезного инструмента может скрываться инфостилер — вредоносная программа, которая ворует пароли, файлы cookie, данные криптокошельков и другую чувствительную информацию.

В результате злоумышленники получают доступ не только к Telegram, но и к банковским сервисам, соцсетям, криптобиржам и другим аккаунтам.

По данным специалистов компании «ЕСА ПРО», только с 7 по 27 мая было обнаружено около 20 подозрительных ботов, которые предлагали автоматизацию переписки и при этом могли собирать данные пользователей.

Есть и другая проблема. Многие собеседники могут даже не подозревать, что общаются не с человеком, а с ботом. В теории злоумышленник способен поручить часть общения автоматизированному помощнику, который будет убеждать жертву перейти по ссылке, передать данные или перевести деньги.

Эксперты подчёркивают: сама функция Telegram не опасна. Опасны сторонние сервисы, которые пытаются паразитировать на популярной новинке.

По оценкам специалистов, с подобными предложениями уже могли столкнуться десятки тысяч пользователей Telegram, а число реально скомпрометированных аккаунтов может исчисляться тысячами.

Схема при этом стара как интернет: мошенники просто взяли старый добрый фишинг и завернули его в новую модную упаковку с надписями «ИИ», «автоматизация» и «умный помощник».

RSS: Новости на портале Anti-Malware.ru