Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Россиян лишили доступа к 20 VPN в App Store

Российским пользователям мобильных устройств Apple стали недоступны около 20 VPN-сервисов. Разработчики одного из них прямо заявили, что приложение было удалено по требованию Роскомнадзора. Среди исчезнувших оказались Streisand, V2Box, v2RayTun и одна из версий Happ.

При этом более функциональная версия последнего приложения — Happ - Proxy Utility Plus — в App Store сохранилась.

Об исчезновении около 20 приложений сообщил портал «Код Дурова».

Разработчики v2RayTun назвали причиной скрытия приложения требование Роскомнадзора. В подтверждение они привели фрагмент переписки с Apple, где прямо говорится, что приложение удалено по запросу российского регулятора, который считает, что оно распространяет незаконный контент.

«Настоящим письмом мы уведомляем вас о том, что ваше приложение по требованию Роскомнадзора будет удалено из российского App Store, поскольку оно содержит незаконный в России контент, который не соответствует требованиям „Руководства по проверке приложений“», — такую выдержку из письма Apple приводит Rozetked.

В Google Play те же приложения для Android, которая значительно более распространена в России, остались доступны.

Всего, по состоянию на конец февраля, Роскомнадзор заявил о блокировке 469 VPN-сервисов. В целом активность регулятора по противодействию таким инструментам в текущем году заметно усилилась.

RSS: Новости на портале Anti-Malware.ru