Разработка новосибирских ученых снизит галлюцинации ИИ

Разработка новосибирских ученых снизит галлюцинации ИИ

Разработка новосибирских ученых снизит галлюцинации ИИ

В Новосибирском государственном университете разработали библиотеку, которая повышает точность и надёжность ответов нейросетей и помогает снизить количество «выдуманных» или заведомо недостоверных ответов — так называемых ИИ-галлюцинаций. Решение получило название RAGU (Retrieval-Augmented Graph Utility) и основано на использовании графов знаний, отражающих связи между различными элементами информации.

Такие графы помогают нейросетям лучше понимать контекст запросов и выявлять неочевидные зависимости. В рамках проекта они были интегрированы с большими языковыми моделями, что позволило повысить качество генерации ответов.

«Саму концепцию придумали не мы. Архитектура GraphRAG была предложена в статье Microsoft, опубликованной около года назад. Идея оказалась удачной, но мы увидели ряд недостатков — в частности, очень долгий процесс построения графа знаний и недетерминированный результат. Наш подход позволил ускорить работу и повысить её надёжность», — рассказал научный сотрудник лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ Иван Бондаренко.

В отличие от оригинального подхода Microsoft, новосибирские исследователи применили многошаговый метод формирования графа знаний. Это позволило существенно ускорить процесс и снизить требования к вычислительным ресурсам. Если в исходной реализации использовалось порядка 32 млрд параметров, то в RAGU их число удалось сократить почти на два порядка — не только без потери качества, но и с его заметным улучшением.

Помимо специалистов НГУ, в проекте участвовали представители других российских вузов, включая МГУ, Балтийский федеральный университет имени Иммануила Канта, Университет науки и технологий МИСИС, Дальневосточный федеральный университет и Университет ИТМО.

Проект RAGU стал победителем в номинации «Инновации в области искусственного интеллекта» конкурса «Код без границ». Всего в конкурсе приняли участие более 200 проектов.

Подпишитесь на новости

PHP-уязвимости пытались эксплуатировать за четыре дня до раскрытия

История PHP2Shell получила продолжение: попытку эксплуатации зафиксировали ещё 17 октября — за четыре дня до публичного раскрытия уязвимостей и выхода патчей. Параллельно OpenAI рассказала, что одну из критических брешей исследователи обнаружили с помощью GPT‑5.6 Sol.

Пока защитники готовили обновления, кто-то уже проверял чужие серверы на прочность.

О ранней попытке атаки сообщила Amazon Threat Intelligence. Её обнаружили в телеметрии сети ловушек MadPot. Запрос пришёл с адреса коммерческой сети анонимизации; откуда отправитель получил сведения об эксплуатации до раскрытия, неизвестно.

Утром 21 октября Amazon заметила новые попытки с разными полезными нагрузками и инфраструктурой — это указывает на нескольких участников. Успех этих ранних атак на реальных системах не установлен.

После публикации исправлений новые демонстрационные эксплойты появились за считаные часы и почти сразу пошли в ход против сенсоров компании.

Вторая новость — роль ИИ. Как отметили в OpenAI, команда Calif выявила критическую уязвимость с помощью GPT‑5.6 Sol в рамках инициативы Patch the Planet. Wiz независимо обнаружила и сообщила об обеих брешах. Исправления готовили разработчики PHP при поддержке исследователей и инфраструктурных компаний.

Доказательств, что атакующие тоже использовали ИИ, в этих сообщениях нет. Amazon рекомендует проверять следы компрометации как минимум с 17 октября. Патч закрывает брешь, а выяснять, кто успел войти раньше, придётся отдельно.

RSS: Новости на портале Anti-Malware.ru