Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

Российской прописки мало: Минцифры готовит требования к доверенному ПО

Отечественное происхождение программы ещё не делает её безопасной. Минцифры разработало проект требований к доверенному российскому ПО: предлагается проверять устойчивость к внешним воздействиям и выполнение дополнительных условий безопасности.

Документ опубликован для общественного обсуждения. Среди предлагаемых требований есть отсутствие известных неустранённых уязвимостей, разработка, хранение исходников и сборка в контролируемой среде на территории России.

Также предусмотрены актуальные сведения о компонентах программы, техническая поддержка в стране и публикация информации об обновлениях.

Отдельное внимание уделено совместимости с российскими браузерами и средствами электронной подписи. Для разных классов продуктов — от операционных систем и СУБД до офисных пакетов и коммуникационных приложений — предусмотрены специальные требования.

Подтверждать соответствие разработчики смогут добровольно через экспертизу. Сведения о её результатах предполагается отражать в реестре российского ПО и перечне программ для собственных нужд.

RSS: Новости на портале Anti-Malware.ru