Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

Российскому рынку ИБ прогнозируют 455 млрд рублей, защитников не хватает

Бизнес покупает всё больше киберзащиты, но людей для работы с ней по-прежнему не хватает. По прогнозу MWS Cloud, российский рынок информационной безопасности в 2026 году вырастет на 20,8%, до 455,4 млрд рублей. При этом импортозамещение постепенно уступает роль главного двигателя спроса самим угрозам.

О прогнозах аналитиков и оценках участников рынка рассказал «КоммерсантЪ».

Крупнейшим сегментом, по расчётам MWS Cloud, станет ПО — 216,5 млрд рублей. На услуги придётся 167 млрд, на оборудование — 71,9 млрд. Впрочем, единодушия нет: BI.ZONE ожидает более скромного роста рынка — на 10-15%.

Заказчики, уже знакомые с ИБ-продуктами, расширяют их применение внутри своей инфраструктуры. Одной покупки для галочки становится маловато: атаки усложняются, требования регуляторов и штрафы добавляют мотивации.

Среди услуг лидируют управляемые сервисы безопасности: мониторинг, реагирование на инциденты, управление защитой и уязвимостями. Причина — собственную команду с круглосуточным дежурством может позволить себе не каждый.

Директор Angara MTDR Артём Грибков оценивает кадровый дефицит примерно в 40%, особенно среди специалистов уровня middle+ и senior.

RSS: Новости на портале Anti-Malware.ru