Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Little Snitch пришёл на Linux на фоне нового интереса к контролю трафика

Знаменитый сетевой инструмент Little Snitch, который много лет ассоциировался только с macOS, теперь добрался и до Linux. Разработчик объясняет это шаг тем, что в мире, где всё больше спорят о доверии к софту, обновлениям и контролю над устройствами, идея открытой и менее централизованной платформы начинает выглядеть для многих заметно привлекательнее.

На этом фоне он решил попробовать пожить с Linux как с основной системой и быстро упёрся в знакомую проблему: без Little Snitch там не хватает удобной, наглядной прозрачности по сетевой активности приложений.

По сути, Little Snitch для Linux делает то, за что его любят на macOS: показывает, какие процессы выходят в Сеть, и позволяет это оперативно ограничивать. Но технически новая версия устроена уже по-другому.

 

Инструмент использует eBPF для работы на уровне ядра, написан на Rust, а интерфейс выполнен в виде веб-приложения. Такой подход позволяет, например, наблюдать за удалённым Linux-сервером с другого устройства, не городя отдельную тяжёлую схему управления.

При этом разработчик отдельно подчёркивает, что это не «абсолютный щит» от всего на свете, а скорее инструмент видимости и контроля.

Часть проекта уже открыта: разработчик вынес в open source, в частности, eBPF-компонент и интерфейс. А вот бэкенд, который отвечает за правила и анализ соединений, пока остаётся закрытым. Это, судя по описанию, сознательное решение: именно там сосредоточена значительная часть накопленной за годы логики Little Snitch.

RSS: Новости на портале Anti-Malware.ru