Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Nova Special Edition получила поддержку Astra Linux и Мос ОС

Orion soft выпустила обновлённую редакцию платформы Nova Special Edition — защищённой системы оркестрации контейнеризированных приложений, соответствующей 4-му уровню доверия ФСТЭК России. В новой версии разработчики заметно расширили функциональность и сделали акцент на совместимость с российскими операционными системами.

Теперь Nova Special Edition полноценно поддерживает актуальные сертифицированные версии Astra Linux и Мос ОС.

Причём речь идёт не просто о формальной совместимости: платформу доработали с прицелом на использование в критически важных ИТ-средах — от инфраструктуры госорганов до высоконагруженных корпоративных систем.

В обновлении появилось несколько новых возможностей. В частности, добавлена автоматическая конфигурация резервирования системных ресурсов. Также в инструменте nova-ctl реализован пул SSH-подключений с интерфейсом аренды. Это упрощает администрирование и позволяет быстрее и безопаснее выполнять массовые технические операции в инфраструктуре.

Отдельные изменения коснулись резервного копирования и безопасности. В платформе появилась валидация пользовательских CA-сертификатов, а также скорректирован механизм размещения агентов Velero, что повышает надёжность бэкапов. Кроме того, в новой версии закрыты уязвимости в ряде компонентов, включая nginx ingress controller, nginx, CoreDNS и Grafana.

Обновлённая Nova Special Edition остаётся сертифицированным решением для защищённых сред и при этом получает дополнительные инструменты для повседневной эксплуатации и администрирования. Платформа ориентирована на организации, которым важно сочетание требований регуляторов, стабильности и современных возможностей оркестрации контейнеров.

RSS: Новости на портале Anti-Malware.ru