Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Вышла Kaspersky SD-WAN 2.5 с улучшенной масштабируемостью

«Лаборатория Касперского» выпустила обновлённую версию Kaspersky SD-WAN 2.5, предназначенного для построения и управления защищёнными корпоративными сетями. Главное изменение — повышение масштабируемости и удобства администрирования.

Теперь система поддерживает больше клиентских устройств (CPE) в одном кластере, что особенно актуально для крупных распределённых компаний.

Среди ключевых нововведений — гибкое перенаправление DNS-запросов. Теперь администраторы могут настраивать маршруты для внешних и внутренних DNS в зависимости от задач и архитектуры сети.

Это помогает оптимизировать отклик серверов и ускоряет подключение к нужным сервисам, особенно в территориально распределённых инфраструктурах.

Упростился и процесс устранения неполадок. Диагностику теперь можно проводить централизованно — без необходимости вручную подключаться к каждому устройству. Решение поддерживает фильтры для проверки протоколов BGP и OSPF, что ускоряет поиск и устранение проблем с маршрутизацией.

Кроме того, появилась возможность удалённой диагностики LTE-модулей — можно проверить уровень сигнала и другие параметры связи. Это помогает оперативно оценивать качество соединения и при необходимости перемещать оборудование для улучшения приёма.

Одно из важных обновлений — возможность вносить изменения в конфигурацию CPE по расписанию. Теперь администраторы могут планировать обновления в периоды минимальной нагрузки, снижая риск простоев и влияния на бизнес-процессы.

В новой версии также реализована балансировка между оркестраторами, что позволяет равномерно распределять нагрузку при управлении крупными сетями.

В целом обновление направлено на то, чтобы сделать эксплуатацию сетей SD-WAN удобнее, надёжнее и более управляемой, особенно в организациях с разветвлённой инфраструктурой и высоким числом филиалов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru