Семантика и лингвистика в борьбе с утечками данных

Семантика и лингвистика в борьбе с утечками данных

Компания InfoWatch интегрирует в свои решения для защиты данных от утечки технологию «Семантическое зеркало» (версия 1.0). Эта технология лицензирована InfoWatch у компании «Ашманов и Партнеры», технологического лидера разработки движков анализа текстовой информации. Ее дополнительные возможности по контролю за конфиденциальной информацией станут доступны пользователям решений InfoWatch, начиная с сентября.


Технология «Семантическое зеркало» была изначально разработана для оптимизации интернет-поиска, а именно для определения темы любой заданной веб-страницы, что позволяет показывать на этой странице релевантную рекламу или новости на актуальную тему. В решениях InfoWatch данная технология применена для оптимизации лингвистического анализа сетевого трафика с целью выявления и пресечения утечки конфиденциальной информации из компаний.


Лингвистический анализ – это анализ всей информации, содержащейся в почтовой корреспонденции, web-трафике, обращениях к базам данных, а также анализ данных, копируемых на мобильные устройства и отправляемых на печать с рабочих станций. Если в потоке информации обнаружены слова, фразы, части текста, свидетельствующие о конфиденциальности данных, система принимает решение о блокировке отправки данных за пределы компании или уведомлении офицера безопасности об инциденте. В результате внедрения технологии «Семантическое зеркало» в решениях InfoWatch может осуществляться лингвистический анализ текста с учетом словарной морфологии (всех форм слова с различными приставками, суффиксами и окончаниями).


Технология «Семантическое зеркало» привнесла в решения InfoWatch следующие дополнительные возможности:


- Использование элементов нечеткого поиска слов: учитываются некоторые опечатки - например, цифры и латинские буквы, набранные вместо похожих по начертанию русских, и наоборот.


- Возможность обработки многоязыковых текстов, что актуально как для официальных документов (например, мультиязыковых договоров), так и для электронных сообщений.


- Гибкая настройка поиска ключевых слов - например, возможность для некоторого специфического ключевого термина явно указать регистр (только строчными буквами, только прописными, различные комбинации строчных или прописных букв) или «отключить» использование морфологии.


В отличие от решений, основанных на технологиях фингерпринтов (fingerprints), шинглов (shingles), и т.д., технология «Семантического зеркала» позволяет выявить не только ранее созданные конфиденциальные документы, но и вновь создаваемые.
Использование метода лингвистического анализа позволяет обеспечить высокий уровень детектирования критической информации. При этом качественный результат будет получен даже при анализе небольших фрагментов текста, что, например, характерно для неформальной переписки или программ мгновенного общения типа ICQ.


Особое внимание при внедрении технологии «Семантического зеркала» было уделено скорости работы лингвистического движка, так как в случае установки решения «в разрыв» сканирование и фильтрация перехваченных объектов выполняются в режиме реального времени. Использованные алгоритмы позволяют без потери качества фильтрации минимизировать время, затрачиваемое на обработку текста.

Энтузиаст запустил чат-бот на процессоре Z80 1976 года

Легендарный процессор Zilog Z80, которому в этом году почти 50 лет, внезапно получил собственный «ИИ». Разработчик под ником HarryR представил проект Z80-μLM — крошечную «разговорную модель», которая реально работает на 8-битном Z80 с 64 КБ памяти.

Сразу расставим точки над i: тест Тьюринга этот ИИ не пройдёт, мир не захватит и цены на Z80 из-за него не взлетят. Сам автор честно говорит, что это эксперимент и «развлечение для души». Но эксперимент крайне изящный, именно этим он и цепляет.

Z80-μLM — это минималистичная «разговорная ИИ-модель», которая генерирует ответы посимвольно. Вся система, включая инференс и простой чат-интерфейс, уместилась примерно в 40 КБ. Для наглядности: это обычный .COM-файл, который спокойно запускается в CP/M и помещается в стандартную область памяти TPA.

Внутри сплошная инженерная магия старой школы. Никаких чисел с плавающей точкой, только целочисленная арифметика, заточенная под возможности Z80. Веса квантованы до 2 бит (значения от −2 до +1), четыре веса упакованы в один байт.

Входной текст кодируется через хеширование триграмм в 128 «корзин» — это делает модель устойчивой к опечаткам и нечувствительной к порядку слов. Всё максимально просто, жёстко и эффективно.

HarryR подчёркивает, что его цель была не «ум», а минимальный размер при сохранении ощущения характера. И, как ни странно, это работает. Ответы у чат-бота короткие, иногда нарочито сухие или уклончивые:

  • OK — нейтральное подтверждение,
  • WHY? — сомнение в вашем вопросе,
  • R U? — философский ответ с намёком,
  • MAYBE — честная неопределённость,
  • AM I? — вопрос в ответ.

Из-за этой лаконичности общение превращается в своеобразную игру: приходится угадывать, «понял» ли бот вопрос, и достраивать смысл самому. И тут невольно ловишь себя на мысли, что мозг начинает приписывать этой кучке байтов некую личность. Или это просто классическая человеческая склонность к антропоморфизму — вопрос открытый.

В проекте есть два готовых примера. Первый — Tinychat, простой чат-бот, который отвечает на приветствия и вопросы о себе. Второй — Guess, вариация игры «20 вопросов», где модель загадывает нечто, а пользователь пытается это угадать. Оба варианта доступны в виде готовых бинарников: для CP/M — стандартные .COM-файлы, для ZX Spectrum — .TAP-образы кассет, которые можно загрузить в эмулятор или даже на реальное железо.

Отдельная ирония ситуации в том, что Z80 как раз недавно официально отправили «на пенсию». В апреле 2024 года Zilog объявила о прекращении поддержки чипа (PDF) из-за закрытия производства на стороне фабрики. Правда, почти сразу энтузиасты взялись за замену, и в рамках проекта Tiny Tapeout появился рабочий совместимый клон.

RSS: Новости на портале Anti-Malware.ru