Бесплатный шрифт ShieldFont научился защищать сайты от сбора данных для ИИ

Публикация текста в интернете теперь означает не только встречу с читателями, но и незваный визит ИИ-ботов, которые могут утащить материал в обучающий датасет. Просьбу не заходить через robots.txt они соблюдают не всегда, поэтому создатели ShieldFont решили действовать хитрее: пустить скрейперы внутрь и подсунуть им убедительную чепуху.

Бесплатный шрифт разработали бразильское агентство Seneda & Abrucio и датская студия Playtype.

В браузере человек видит исходный текст, а бот при анализе кода получает другую версию. Для этого ShieldFont использует механизм замены глифов OpenType, но меняет не отдельные символы, а целые слова.

Подмена происходит не хаотично. Существительные заменяются существительными, глаголы прошедшего времени — такими же глаголами, а множественное число сохраняется. Словарь разделён на 250 групп с учётом частей речи и смысловых признаков. В результате шрифт переставляет примерно четверть слов, сохраняя грамматически приличный вид текста.

Это нужно, чтобы отравленная версия не вылетела из обучающего набора на первом же фильтре качества. Разработчики проверили её с помощью FineWeb-Edu: около 10% фрагментов, признанных качественными до защиты, прошли отбор и после неё. Текст оставался достаточно связным для сохранения, но уже врал по существу. В 55,8% протестированных отрывков факты не совпадали с оригиналом.

Непробиваемым щитом ShieldFont всё же не стал. Если сделать скриншот страницы и распознать надписи через OCR, исходный текст можно восстановить. Есть и проблема посерьёзнее: скринридеры для незрячих тоже считывают подменённые слова. Разработчики добавили бета-функцию для передачи им оригинального текста, но вопрос доступности пока полностью не закрыт.

Сейчас ShieldFont работает только с английским языком и бесплатно доступен на GitHub.