Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

Anthropic сняла бан Claude через три часа после апелляции россиянина

Российский пользователь Claude рассказал о внезапном бане сразу после проверки личности по загранпаспорту. Но история закончилась неожиданно быстро: примерно через три часа после апелляции Anthropic вернула доступ и оформила возврат $78,97 за неиспользованную часть подписки.

О своём опыте пользователь рассказал на Хабре, приложив уведомления компании.

По словам автора, он работает с Claude из России через VPN. Перед проверкой личности экспортировал переписки и проекты, указал настоящие имя и фамилию, а затем предъявил действующий российский загранпаспорт. Сразу после верификации сервис сообщил о блокировке, связанной с подозрительной активностью.


Однако последовательность событий ещё не доказывает, что причиной стал именно паспорт. Автор допускает влияние региона, VPN, смены IP-адресов или сочетания факторов. Конкретное основание Anthropic ему не объяснила.

Пользователь подал стандартную апелляцию с просьбой пересмотреть решение. Текст на английском помог составить GPT.

Примерно через три часа, утверждает автор, команда Anthropic Safeguards сообщила о восстановлении аккаунта после повторного рассмотрения. Подписка Max автоматически не вернулась: учётная запись осталась на бесплатном тарифе, а за остаток оплаченного периода компания оформила возврат. После этого пользователь снова оплатил Max за $100.

На момент публикации доступ работал, но гарантий от повторной блокировки автор не получил. История показывает лишь то, что конкретное решение удалось оспорить, но без обещаний, что следующая апелляция пройдёт по тому же сценарию.

Автор внёс несколько изменений в аккаунт, самое интересное из которых — в настройках конфиденциальности отключить передачу местоположения.

RSS: Новости на портале Anti-Malware.ru