Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Вышла PT Container Security 0.8 с публичным API

Positive Technologies представила новую версию PT Container Security — 0.8. В этом релизе продукт получил несколько заметных изменений, которые должны упростить работу SOC-команд и повысить устойчивость защиты контейнерных сред. Главное новшество — появление публичного API.

Теперь продуктом можно управлять не только через веб-интерфейс, но и автоматически: отправлять HTTPS-запросы из скриптов, интегрировать с SIEM или другими инструментами.

Это позволяет оператору SOC обрабатывать события рантайма в привычных системах и автоматизировать создание правил по всей инфраструктуре.

В компании подчёркивают, что для токенов добавили расширенные настройки: срок действия, набор привилегий и возможность максимально ограничивать доступ — например, оставить только просмотр истории событий. Администратор при необходимости может разом отозвать все токены.

В PT Container Security 0.8 появилось больше параметров для настройки правил в admission controller и мониторинга рантайма: теперь можно указывать конкретные поды, контейнеры, ноды, образы и репозитории. Это помогает точнее реагировать на инциденты и снижает нагрузку на систему, исключая лишние проверки.

Ещё одно важное улучшение — цепочка детекторов не останавливается, если один из них отработал с ошибкой. Анализ продолжается, а SOC-специалист видит, какие детекторы не справились, и может изучить детали. Проблемные события выделяются красным — чтобы сразу бросались в глаза.

Работа с сертификатами для TLS-соединений между компонентами теперь реализована средствами Helm. Сертификаты создаются автоматически и прописываются в values.yaml, но при желании можно хранить их в отдельном файле — это упрощает администрирование.

Новые возможности станут доступны пользователям после обновления PT Container Security до версии 0.8.

RSS: Новости на портале Anti-Malware.ru