Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера рассказали о новом способе борьбы с галлюцинациями в больших языковых моделях. Эта проблема считается одной из самых серьёзных в сфере ИИ: модели могут выдавать правдоподобные, но полностью выдуманные ответы.

На конференции SIGIR 2025 исследователи Центра практического искусственного интеллекта Сбера представили метод, который позволяет повысить точность обнаружения таких «ложных» ответов почти на 30%.

Причём для обучения метамоделей им понадобилось всего 250 примеров — это в разы меньше, чем обычно требуется другим подходам.

Главное преимущество метода в том, что он помогает экономить ресурсы на разметку данных и делает RAG-системы (retrieval-augmented generation), на которых сейчас строятся многие мультиагентные решения, заметно надёжнее.

По словам Глеба Гусева, директора Центра практического ИИ, исследование показывает, что даже при небольшом объёме данных можно добиться высокой точности работы моделей.

Он подчеркнул, что новый подход снижает риски дезинформации и помогает повысить доверие к системам искусственного интеллекта.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Менее 5% промышленных предприятий в России автоматизировали IAM-процессы

По данным «Информзащиты», в России лишь около 4% промышленных организаций внедрили системы управления учётными записями и доступом (IAM). Эксперты предупреждают: низкий уровень зрелости в этой сфере напрямую увеличивает риски несанкционированного доступа, злоупотребления привилегированными правами и атак через цепочки поставок.

IAM-системы помогают автоматизировать выдачу и отзыв прав пользователей, контролировать доступ и снижать влияние человеческого фактора.

Но на практике внедрение тормозят сразу несколько причин: устаревшие SCADA-системы, недостаточные инвестиции в ИБ, сложности с импортозамещением и разрыв ответственности между ИТ и ОТ. Из-за этого в компаниях до сих пор встречаются «общие» доменные администраторы, бессрочные локальные учётки на HMI, групповые VPN для подрядчиков и сервисные аккаунты без ротации.

При этом более 80% атак на промышленные компании так или иначе связаны с идентификационными данными. Это и фишинг, и атаки на подрядчиков, и действия инсайдеров.

«Не стоит забывать и про деструктивные атаки, более 25% которых направлены именно на промышленность. Приостановка завода может ударить по цепочкам поставок и даже представлять угрозу жизни людей. Злоумышленники активно используют уязвимости в системах идентификации», — говорит Анатолий Песковский, руководитель направления анализа защищённости IZ:SOC «Информзащиты».

Эксперты рекомендуют предприятиям модернизировать инфраструктуру и внедрять IAM-системы, автоматизировать настройку прав доступа, ограничивать полномочия временных пользователей и подрядчиков. Эффективной мерой также считается вынос внешних подключений в отдельную jump-зону с PAM-бастионом, ротация сервисных аккаунтов и разделение административных доменов. Всё это, по оценке специалистов, может заметно снизить риски уже в течение 2–3 месяцев.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru