Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Вышел Android-инструмент для поиска VPN по методичке Минцифры

Разработчик под ником xtclovver выпустил проект RKNHardering — тестовое Android-приложение, которое, как утверждается, умеет искать на устройстве признаки использования VPN и прокси по логике, близкой к недавно обсуждавшейся методичке для российских ИТ-компаний.

Согласно описанию проекта, приложение написано на Kotlin и предназначено для проверки того, насколько заметен используемый сервис обхода блокировок.

Достоверно подтвердить все заявленные возможности проекта по открытым источникам пока нельзя, но сам факт появления такого инструмента хорошо ложится в текущую повестку.

RKNHardering анализирует трафик, сверяет IP-адреса с базами прокси, VPN и адресов дата-центров, а затем пытается оценить, насколько подозрительно выглядит используемое соединение.

 

Автор также отдельно поблагодарил runetfreedom за proof-of-concept, на основе которого, по его словам, была реализовано детектирование одного из сценариев обхода split tunneling (раздельное туннелирование). Сам runetfreedom действительно ведёт публичный GitHub-аккаунт, где размещает связанные с этой темой материалы.

 

Фон у этой истории понятный. В начале апреля СМИ сообщили, что Минцифры направило крупнейшим интернет-компаниям рекомендации по выявлению пользователей с включёнными VPN и при этом отдельно признало, что на iPhone такие возможности «существенно ограничены» из-за особенностей iOS.

В тех же публикациях говорилось, что внедрение механизмов поиска VPN предлагается начинать именно с мобильных устройств на Android и iOS.

RSS: Новости на портале Anti-Malware.ru