Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера нашли способ снизить галлюцинации ИИ почти на 30%

Учёные Сбера рассказали о новом способе борьбы с галлюцинациями в больших языковых моделях. Эта проблема считается одной из самых серьёзных в сфере ИИ: модели могут выдавать правдоподобные, но полностью выдуманные ответы.

На конференции SIGIR 2025 исследователи Центра практического искусственного интеллекта Сбера представили метод, который позволяет повысить точность обнаружения таких «ложных» ответов почти на 30%.

Причём для обучения метамоделей им понадобилось всего 250 примеров — это в разы меньше, чем обычно требуется другим подходам.

Главное преимущество метода в том, что он помогает экономить ресурсы на разметку данных и делает RAG-системы (retrieval-augmented generation), на которых сейчас строятся многие мультиагентные решения, заметно надёжнее.

По словам Глеба Гусева, директора Центра практического ИИ, исследование показывает, что даже при небольшом объёме данных можно добиться высокой точности работы моделей.

Он подчеркнул, что новый подход снижает риски дезинформации и помогает повысить доверие к системам искусственного интеллекта.

ФСТЭК обновила правила поиска уязвимостей и скрытых возможностей в ПО

ФСТЭК России утвердила новую методику выявления уязвимостей и недекларированных возможностей в программном обеспечении. Проще говоря, регулятор обновил правила, по которым будут искать дыры, ошибки и потенциально опасные функции в софте, проходящем сертификацию.

Новый документ предназначен прежде всего для испытательных лабораторий и разработчиков, которые участвуют в сертификации средств защиты информации, защищённого программного обеспечения и программно-аппаратных комплексов.

Методика будет применяться как при первичной сертификации продуктов, так и при внесении изменений в уже сертифицированные решения.

Особое внимание документ уделяет разработчикам средств защиты информации. Им рекомендуют использовать положения новой методики для выстраивания внутренних процессов безопасной разработки программного обеспечения в соответствии с требованиями ГОСТ Р 56939-2024.

Фактически речь идёт о том, чтобы искать потенциальные проблемы не только на финальном этапе испытаний, но и на протяжении всего жизненного цикла продукта.

При этом ФСТЭК официально отправила на пенсию предыдущую версию документа. Методика выявления уязвимостей и недекларированных возможностей, утверждённая ещё 25 декабря 2020 года, больше не применяется.

Для рынка информационной безопасности это не просто бюрократическое обновление. Методики ФСТЭК напрямую влияют на то, как проходят сертификацию российские средства защиты информации, какие проверки проводят лаборатории и какие требования предъявляются к разработчикам.

А учитывая, что количество уязвимостей в программном обеспечении продолжает расти, а требования к безопасной разработке становятся всё жёстче, обновление правил игры было лишь вопросом времени.

Так что разработчикам защищённого ПО, испытательным лабораториям и ИБ-подразделениям теперь придётся сверяться уже с новым набором требований. Старые инструкции официально ушли в архив.

RSS: Новости на портале Anti-Malware.ru