Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Иностранные симки больше не помогают обходить блокировки в России

Иностранные сим-карты перестали быть удобным билетом к интернет-ресурсам, доступ к которым в России ограничен. Раньше схема выглядела заманчиво для тех, кто готов был платить: человек находится в России, пользуется иностранной симкой, а трафик уходит через инфраструктуру зарубежного оператора.

По данным «Известий», пользователи таких карт больше не могут беспрепятственно заходить на заблокированные в РФ сервисы через роуминговый интернет.

Российские сети в таком сценарии фактически работали как транзит. Но теперь, как пояснили в Минцифры, к роуминговому интернет-трафику иностранных абонентов применяется общий режим фильтрации, действующий в РФ. То есть страна выпуска сим-карты больше не играет роль волшебного пропуска.

При этом речь не о полном отключении интернета. Доступ к обычным ресурсам сохраняется. Также, по словам пользователей, всё ещё работают некоторые сервисы, которые сами ограничили деятельность в России, например Netflix и ряд зарубежных нейросетей. А вот ресурсы, заблокированные за нарушение российского законодательства, через иностранную симку уже не открываются.

По оценкам Mobile Research Group, на руках у россиян может быть около 2 млн иностранных сим-карт, но для постоянного выхода в интернет используются примерно 500 тыс. из них. Популярность таких карт выросла после 2022 года: их покупали для регистрации в ушедших сервисах, работы с зарубежными банками и доступа к отдельным платформам.

Эксперты отмечают, что способ изначально был нишевым и дорогим. Такие сим-карты продолжают продавать на онлайн-площадках: цены стартуют примерно от 600 рублей и доходят до 5,5 тыс. рублей, а стоимость трафика может неприятно удивить. Например, 1 ГБ интернета по некоторым тарифам обходится в 800–1200 рублей.

Технически фильтрация может зависеть от схемы роуминга и маршрута трафика, однако иностранная симка теперь просто дорогой кусок пластика с ограниченным набором преимуществ.

RSS: Новости на портале Anti-Malware.ru