Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера рассказали о новом способе борьбы с галлюцинациями в больших языковых моделях. Эта проблема считается одной из самых серьёзных в сфере ИИ: модели могут выдавать правдоподобные, но полностью выдуманные ответы.

На конференции SIGIR 2025 исследователи Центра практического искусственного интеллекта Сбера представили метод, который позволяет повысить точность обнаружения таких «ложных» ответов почти на 30%.

Причём для обучения метамоделей им понадобилось всего 250 примеров — это в разы меньше, чем обычно требуется другим подходам.

Главное преимущество метода в том, что он помогает экономить ресурсы на разметку данных и делает RAG-системы (retrieval-augmented generation), на которых сейчас строятся многие мультиагентные решения, заметно надёжнее.

По словам Глеба Гусева, директора Центра практического ИИ, исследование показывает, что даже при небольшом объёме данных можно добиться высокой точности работы моделей.

Он подчеркнул, что новый подход снижает риски дезинформации и помогает повысить доверие к системам искусственного интеллекта.

Подпишитесь на новости

Spectre вернулась: новая атака вытаскивает хеш пароля root из памяти Linux

Процессор помнит старый код, хотя на его месте уже работает новый. На этой нестыковке исследователи VUSec и Scuola Superiore Sant’Anna построили Branch Target Reuse — новый вариант Spectre v2. Атака затрагивает JIT-компиляторы, которые создают машинный код во время работы программы.

Подробности опубликованы в исследовании BTR. Когда участок памяти освобождают и используют повторно, предсказатель переходов CPU может сохранить устаревшую запись.

Процессор спекулятивно выполняет инструкции по старому адресу, а следы в кеше позволяют извлекать секретные данные.

Исследователи подтвердили проблемное поведение на протестированных процессорах Intel, AMD и Arm. Они изучили JIT-движки Firefox, GraalVM и Linux, но практические результаты различаются.


Самый убедительный пример — два эксплойта против ядра Linux. На системе Intel с действовавшими защитами исследователи продемонстрировали извлечение хеша пароля root за минуты. Именно хеша: готовый пароль и автоматический вход администратора атака не выдаёт.

Для Firefox подготовлен PoC, однако до полноценного браузерного эксплойта ещё требуется работа. В GraalVM практическую эксплуатацию в экспериментах затрудняла очистка состояния предсказателя.

Атакующему нужно выполнять непривилегированный код в подходящей JIT-среде. Одна лишь модель процессора ещё не означает, что конкретную систему можно успешно атаковать.

Защита уже появилась в ядре Linux и GraalVM. Mozilla делает ставку на завершение внедрения изоляции сайтов.

Spectre, похоже, уходить не собирается: ускоряя выполнение кода, процессоры продолжают оставлять исследователям новые поводы заглянуть туда, куда обычной программе нельзя.

RSS: Новости на портале Anti-Malware.ru