Разработка новосибирских ученых снизит галлюцинации ИИ

Разработка новосибирских ученых снизит галлюцинации ИИ

Разработка новосибирских ученых снизит галлюцинации ИИ

В Новосибирском государственном университете разработали библиотеку, которая повышает точность и надёжность ответов нейросетей и помогает снизить количество «выдуманных» или заведомо недостоверных ответов — так называемых ИИ-галлюцинаций. Решение получило название RAGU (Retrieval-Augmented Graph Utility) и основано на использовании графов знаний, отражающих связи между различными элементами информации.

Такие графы помогают нейросетям лучше понимать контекст запросов и выявлять неочевидные зависимости. В рамках проекта они были интегрированы с большими языковыми моделями, что позволило повысить качество генерации ответов.

«Саму концепцию придумали не мы. Архитектура GraphRAG была предложена в статье Microsoft, опубликованной около года назад. Идея оказалась удачной, но мы увидели ряд недостатков — в частности, очень долгий процесс построения графа знаний и недетерминированный результат. Наш подход позволил ускорить работу и повысить её надёжность», — рассказал научный сотрудник лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ Иван Бондаренко.

В отличие от оригинального подхода Microsoft, новосибирские исследователи применили многошаговый метод формирования графа знаний. Это позволило существенно ускорить процесс и снизить требования к вычислительным ресурсам. Если в исходной реализации использовалось порядка 32 млрд параметров, то в RAGU их число удалось сократить почти на два порядка — не только без потери качества, но и с его заметным улучшением.

Помимо специалистов НГУ, в проекте участвовали представители других российских вузов, включая МГУ, Балтийский федеральный университет имени Иммануила Канта, Университет науки и технологий МИСИС, Дальневосточный федеральный университет и Университет ИТМО.

Проект RAGU стал победителем в номинации «Инновации в области искусственного интеллекта» конкурса «Код без границ». Всего в конкурсе приняли участие более 200 проектов.

Одноразовые СМС-ссылки годами открывают доступ к личным данным

Одноразовые ссылки, которые сервисы рассылают по СМС для входа или подтверждения действий, на практике часто оказываются вовсе не одноразовыми. Новое исследование показало, что такие URL могут годами оставаться активными и открывать доступ к персональным данным пользователей.

Исследователи собрали данные через публичные СМС-шлюзы — сайты, где отображаются сообщения, отправленные на временные номера.

В общей сложности специалисты проанализировали более 33 млн сообщений, связанных с 30 тыс. телефонных номеров, и извлекли около 323 тысячи уникальных ссылок, ведущих на 10,9 тыс. доменов.

Из примерно 147 тыс. доступных URL удалось выявить 701 конечную точку, раскрывающую персональные данные пользователей. Эти ссылки относились к 177 сервисам. В открытом доступе оказывались имена, номера телефонов, адреса, даты рождения, банковские реквизиты, номера социального страхования и кредитные данные. Во многих случаях одной ссылки хватало для сбора подробного профиля человека.

 

Особую тревогу вызвал срок жизни таких ссылок. Все 701 URL оставались рабочими на момент проверки. Более половины из них были возрастом от одного до двух лет, ещё 46% — старше двух лет, а некоторые датировались 2019 годом. По словам авторов исследования, чем дольше ссылка остаётся активной, тем выше риск её утечки — через пересылку сообщений, логи, взломанные устройства или повторное использование номеров.

Во всех подтверждённых случаях доступ к данным строился по принципу bearer-link: сама ссылка служила единственным «ключом» и не требовала дополнительной аутентификации. В 15 сервисах по таким URL можно было изменять персональные данные, а в шести случаях — фактически получить доступ к аккаунту пользователя.

Отдельной проблемой стали слабые токены. Около 73% сервисов использовали ссылки с низкой энтропией, которые можно было подобрать. В ряде случаев исследователям удавалось получить доступ к чужим данным менее чем за десять попыток.

Авторы исследования уведомили 150 компаний, чьи сервисы оказались уязвимыми. Ответили лишь 18, а реальные фиксы внедрили только семь. По мнению исследователей, сама модель доверия к СМС-ссылкам как «безопасному» каналу остаётся системной проблемой: пока такие механизмы проектируются ради удобства, а не безопасности, утечки данных будут неизбежны.

RSS: Новости на портале Anti-Malware.ru