Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

Ограничения доступа к сайтам заметили 39% пользователей в России

Пока одни осваивают обходные маршруты к привычным сервисам, другие готовы просто закрыть вкладку. Ограничения и усложнение доступа к сайтам замечают 39% российских интернет-пользователей. А если ресурс перестанет открываться из-за проблем с сертификатами, 26% опрошенных готовы вовсе отказаться от его посещения.

Результаты телефонного опроса Russian Field опубликовал «Код.ру», получивший их от пресс-службы исследователей.

При проблемах с сертификатами 55% участников попробуют другой браузер, 22% установят необходимые сертификаты, 21% зайдут с мобильного устройства. Молодёжь чаще допускает использование VPN или прокси, старшие пользователи охотнее выбирают вариант «ну и не надо».

О том, что российские сайты могут не открываться в отдельных браузерах из-за отзыва зарубежных сертификатов, знают 57% пользователей. Ещё 7% что-то слышали. Для 40% недоступность привычного сайта в основном браузере стала бы серьёзной проблемой.

Чаще всего респонденты отмечают технические изменения рунета — в скорости, доступности и стабильности интернета: их назвали 41%.

Дальнейших изменений рунета ожидают 77% опрошенных. Только 9% считают, что он останется прежним. Судя по ответам, запасной браузер постепенно превращается из инструмента для энтузиастов в обычную бытовую принадлежность.

Опрос проводили 23-30 сентября 2026 года среди 1600 человек. По заявлению исследователей, выборка представительна по полу, возрасту, федеральным округам и типам населённых пунктов, погрешность не превышает 2,44%.

RSS: Новости на портале Anti-Malware.ru