Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

Облако под ноль: Beget восстанавливает инфраструктуру после атаки

У Beget случилось то, чего боится любой клиент хостинга: облачную инфраструктуру уничтожили, а резервные копии файлов VPS, по оценке провайдера, будут доступны лишь половине пользователей. После кибератаки в ночь на 2 ноября компания собирает облако заново.

О ходе восстановления Beget рассказал в своём телеграм-канале. По данным компании, злоумышленники добрались до управляющего контура всей архитектуры и запустили обнуляющие скрипты.

Пострадали и внутренние системы: для части клиентов пропали актуальные связи между аккаунтами и услугами. Теперь провайдер восстанавливает ещё и сведения о том, кому что принадлежит.

Архитектуру облака и управляющие сервисы уже подняли. Первые серверы Beget рассчитывает подключить в течение одного-двух дней после публикации сообщения.

Затем предстоят интеграция и тестирование. Сроков полного восстановления по-прежнему нет, а наличие бэкапа ещё не означает, что данные быстро вернутся.

С хостингом ситуация получше: в работу вернули более 60%. Специалисты проверили уцелевшие серверы с резервными копиями и обновили базу бэкапов. Остальные серверы пострадали сильнее, с ними придётся возиться дольше.

Последствия вышли за пределы сайтов и виртуальных машин. Из-за сбоя перебои возникли у BelkaCar: Beget обеспечивал связь приложения каршеринга с серверами. Сервис восстановил доступ для пользователей, перебравшись к другому подрядчику.

RSS: Новости на портале Anti-Malware.ru