Семантика и лингвистика в борьбе с утечками данных

Семантика и лингвистика в борьбе с утечками данных

Компания InfoWatch интегрирует в свои решения для защиты данных от утечки технологию «Семантическое зеркало» (версия 1.0). Эта технология лицензирована InfoWatch у компании «Ашманов и Партнеры», технологического лидера разработки движков анализа текстовой информации. Ее дополнительные возможности по контролю за конфиденциальной информацией станут доступны пользователям решений InfoWatch, начиная с сентября.


Технология «Семантическое зеркало» была изначально разработана для оптимизации интернет-поиска, а именно для определения темы любой заданной веб-страницы, что позволяет показывать на этой странице релевантную рекламу или новости на актуальную тему. В решениях InfoWatch данная технология применена для оптимизации лингвистического анализа сетевого трафика с целью выявления и пресечения утечки конфиденциальной информации из компаний.


Лингвистический анализ – это анализ всей информации, содержащейся в почтовой корреспонденции, web-трафике, обращениях к базам данных, а также анализ данных, копируемых на мобильные устройства и отправляемых на печать с рабочих станций. Если в потоке информации обнаружены слова, фразы, части текста, свидетельствующие о конфиденциальности данных, система принимает решение о блокировке отправки данных за пределы компании или уведомлении офицера безопасности об инциденте. В результате внедрения технологии «Семантическое зеркало» в решениях InfoWatch может осуществляться лингвистический анализ текста с учетом словарной морфологии (всех форм слова с различными приставками, суффиксами и окончаниями).


Технология «Семантическое зеркало» привнесла в решения InfoWatch следующие дополнительные возможности:


- Использование элементов нечеткого поиска слов: учитываются некоторые опечатки - например, цифры и латинские буквы, набранные вместо похожих по начертанию русских, и наоборот.


- Возможность обработки многоязыковых текстов, что актуально как для официальных документов (например, мультиязыковых договоров), так и для электронных сообщений.


- Гибкая настройка поиска ключевых слов - например, возможность для некоторого специфического ключевого термина явно указать регистр (только строчными буквами, только прописными, различные комбинации строчных или прописных букв) или «отключить» использование морфологии.


В отличие от решений, основанных на технологиях фингерпринтов (fingerprints), шинглов (shingles), и т.д., технология «Семантического зеркала» позволяет выявить не только ранее созданные конфиденциальные документы, но и вновь создаваемые.
Использование метода лингвистического анализа позволяет обеспечить высокий уровень детектирования критической информации. При этом качественный результат будет получен даже при анализе небольших фрагментов текста, что, например, характерно для неформальной переписки или программ мгновенного общения типа ICQ.


Особое внимание при внедрении технологии «Семантического зеркала» было уделено скорости работы лингвистического движка, так как в случае установки решения «в разрыв» сканирование и фильтрация перехваченных объектов выполняются в режиме реального времени. Использованные алгоритмы позволяют без потери качества фильтрации минимизировать время, затрачиваемое на обработку текста.

Разработка новосибирских ученых снизит галлюцинации ИИ

В Новосибирском государственном университете разработали библиотеку, которая повышает точность и надёжность ответов нейросетей и помогает снизить количество «выдуманных» или заведомо недостоверных ответов — так называемых ИИ-галлюцинаций. Решение получило название RAGU (Retrieval-Augmented Graph Utility) и основано на использовании графов знаний, отражающих связи между различными элементами информации.

Такие графы помогают нейросетям лучше понимать контекст запросов и выявлять неочевидные зависимости. В рамках проекта они были интегрированы с большими языковыми моделями, что позволило повысить качество генерации ответов.

«Саму концепцию придумали не мы. Архитектура GraphRAG была предложена в статье Microsoft, опубликованной около года назад. Идея оказалась удачной, но мы увидели ряд недостатков — в частности, очень долгий процесс построения графа знаний и недетерминированный результат. Наш подход позволил ускорить работу и повысить её надёжность», — рассказал научный сотрудник лаборатории прикладных цифровых технологий Международного научно-образовательного математического центра НГУ Иван Бондаренко.

В отличие от оригинального подхода Microsoft, новосибирские исследователи применили многошаговый метод формирования графа знаний. Это позволило существенно ускорить процесс и снизить требования к вычислительным ресурсам. Если в исходной реализации использовалось порядка 32 млрд параметров, то в RAGU их число удалось сократить почти на два порядка — не только без потери качества, но и с его заметным улучшением.

Помимо специалистов НГУ, в проекте участвовали представители других российских вузов, включая МГУ, Балтийский федеральный университет имени Иммануила Канта, Университет науки и технологий МИСИС, Дальневосточный федеральный университет и Университет ИТМО.

Проект RAGU стал победителем в номинации «Инновации в области искусственного интеллекта» конкурса «Код без границ». Всего в конкурсе приняли участие более 200 проектов.

RSS: Новости на портале Anti-Malware.ru