Разработка новосибирских ученых снизит галлюцинации ИИ

Разработка новосибирских ученых снизит галлюцинации ИИ

Разработка новосибирских ученых снизит галлюцинации ИИ

В Новосибирском государственном университете разработали библиотеку, которая повышает точность и надёжность ответов нейросетей и помогает снизить количество «выдуманных» или заведомо недостоверных ответов — так называемых ИИ-галлюцинаций. Решение получило название RAGU (Retrieval-Augmented Graph Utility) и основано на использовании графов знаний, отражающих связи между различными элементами информации.

Такие графы помогают нейросетям лучше понимать контекст запросов и выявлять неочевидные зависимости. В рамках проекта они были интегрированы с большими языковыми моделями, что позволило повысить качество генерации ответов.

«Саму концепцию придумали не мы. Архитектура GraphRAG была предложена в статье Microsoft, опубликованной около года назад. Идея оказалась удачной, но мы увидели ряд недостатков — в частности, очень долгий процесс построения графа знаний и недетерминированный результат. Наш подход позволил ускорить работу и повысить её надёжность», — рассказал научный сотрудник лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ Иван Бондаренко.

В отличие от оригинального подхода Microsoft, новосибирские исследователи применили многошаговый метод формирования графа знаний. Это позволило существенно ускорить процесс и снизить требования к вычислительным ресурсам. Если в исходной реализации использовалось порядка 32 млрд параметров, то в RAGU их число удалось сократить почти на два порядка — не только без потери качества, но и с его заметным улучшением.

Помимо специалистов НГУ, в проекте участвовали представители других российских вузов, включая МГУ, Балтийский федеральный университет имени Иммануила Канта, Университет науки и технологий МИСИС, Дальневосточный федеральный университет и Университет ИТМО.

Проект RAGU стал победителем в номинации «Инновации в области искусственного интеллекта» конкурса «Код без границ». Всего в конкурсе приняли участие более 200 проектов.

Хакеры превратили ИИ-агента OpenClaw в убедительного доставщика зловредов

Киберпреступники превратили ИИ-агента OpenClaw в убедительного доставщика стилеров. Они загрузили в каталог ClawHub сотни внешне полезных навыков, которые под видом настройки просили установить обязательный инструмент или вставить в терминал закодированную команду. Схема получила название ClawHavoc.

Пользователь вроде бы сам запускает команду, но совет поступает от ИИ-помощника, а ему привыкли доверять.

На macOS жертвам подсовывали команды для загрузки стилера Atomic macOS Stealer, на Windows — защищённые паролем архивы и фальшивые утилиты проверки. Классический ClickFix, только теперь в роли обаятельного курьера выступает нейросеть.

 

Исследователи из Trellix обнаружили 341 опасный навык, причём 335 из них использовали фиктивные требования для установки AMOS. Проверка истории репозитория выявила уже 1184 подозрительных пакета, связанных с 12 авторами.

 

Добыча серьёзная: пароли, данные браузеров, криптокошельки, API-ключи, SSH-ключи, облачные учётные записи, файлы .env, исходный код и токены подключённых сервисов. Если OpenClaw получил доступ к терминалу без жёстких ограничений, обычная текстовая инструкция способна превратиться в команду PowerShell или Bash.

Пользователям советуют обновить OpenClaw, проверить установленные навыки, удалить всё сомнительное и сменить потенциально утёкшие ключи. Самого агента лучше держать в изолированной среде с минимумом прав и без доступа к рабочим секретам.

RSS: Новости на портале Anti-Malware.ru