Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера рассказали о новом способе борьбы с галлюцинациями в больших языковых моделях. Эта проблема считается одной из самых серьёзных в сфере ИИ: модели могут выдавать правдоподобные, но полностью выдуманные ответы.

На конференции SIGIR 2025 исследователи Центра практического искусственного интеллекта Сбера представили метод, который позволяет повысить точность обнаружения таких «ложных» ответов почти на 30%.

Причём для обучения метамоделей им понадобилось всего 250 примеров — это в разы меньше, чем обычно требуется другим подходам.

Главное преимущество метода в том, что он помогает экономить ресурсы на разметку данных и делает RAG-системы (retrieval-augmented generation), на которых сейчас строятся многие мультиагентные решения, заметно надёжнее.

По словам Глеба Гусева, директора Центра практического ИИ, исследование показывает, что даже при небольшом объёме данных можно добиться высокой точности работы моделей.

Он подчеркнул, что новый подход снижает риски дезинформации и помогает повысить доверие к системам искусственного интеллекта.

Киберпреступники распробовали ИИ: число атак выросло почти вдвое

Злоумышленники резко нарастили интерес к искусственному интеллекту. По данным BI.ZONE, в 2025 году количество целевых атак с применением ИИ выросло на 93%, а с начала 2026 года — ещё в три раза. Специалисты BI.ZONE Threat Intelligence и BI.ZONE Digital Risk Protection изучили более 7400 сообщений на теневых форумах и выяснили: тема ИИ у киберпреступников больше не выглядит экзотикой.

Если раньше такие обсуждения встречались единично, то теперь отдельные ветки есть минимум на семи площадках.

Главный хит подпольных обсуждений — обход ограничений публичных ИИ-моделей. На эту тему приходится 77% публикаций. Злоумышленники делятся готовыми промптами и инструкциями, пытаясь заставить популярные модели генерировать вредоносный код или помогать в подготовке атак.

Всплеск интереса пришёлся на конец 2025-го и начало 2026 года, когда вышли новые версии крупных моделей. Но реальность пока холодно щёлкает энтузиастов по носу: код, полученный через такие «обманутые» модели, часто содержит ошибки и просто не работает. Впрочем, опытный атакующий может использовать отдельные фрагменты как заготовку.

На втором месте — нецензурируемые ИИ-модели, созданные специально под задачи злоумышленников. Им посвящены 22% сообщений. Часть таких решений бесплатна, часть продаётся по подписке — от 6 до 990 долларов в месяц.

Но и тут магии не случилось. Тесты BI.ZONE показали, что ни одна из популярных моделей без ограничений пока не выдаёт готовый рабочий инструмент для атаки. Максимум — помогает ускорить рутину тем, кто и так понимает, что делает.

Около 1% сообщений касается попыток автоматизировать полный цикл кибератаки: от разведки до социальной инженерии. ИИ действительно может ускорять поиск целей, писать фишинговые тексты, генерировать дипфейки и помогать с кодом. Но полностью заменить человека он пока не способен.

Ирония в том, что на подпольном рынке уже начали хвастаться обратным: мол, наше вредоносное приложение написано без вайбкодинга и без ИИ. Видимо, даже киберпреступники поняли, что сгенерировано нейросетью — не всегда знак качества.

RSS: Новости на портале Anti-Malware.ru