Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

Apple начнёт сканировать фото и файлы iCloud по публичным ссылкам

Поделиться файлом со всеми, у кого есть ссылка, теперь означает пригласить на просмотр ещё и Apple. Начиная с iOS 27.3, iPadOS 27.3, macOS 27.3 и visionOS 27.3 компания будет проверять такой контент в iCloud на наличие вредоносных материалов.

Новые правила Apple описала в официальном документе. Изменение касается фотографий и файлов, для которых выбран доступ «Всем, у кого есть ссылка».

Проверка всей личной медиатеки или каждого документа, просто загруженного в iCloud, в этом анонсе не заявлена. Приглашение конкретных пользователей — отдельный вариант обмена.

Apple также напоминает: у контента с публичным доступом по ссылке нет сквозного шифрования. Даже включённая Advanced Data Protection у владельца или получателей этого не меняет.

Если материал признают вредоносным, компания оставляет за собой право ограничить его размещение, изменить или удалить. Возможны и меры против Apple Account: блокировка аккаунта, запрет регистрации нового на тот же телефон или адрес почты, а при необходимости — обращение к правоохранителям.

При этом подробного определения вредоносного контента Apple не привела. Будут ли проверять ранее созданные ссылки, тоже не уточняется.

RSS: Новости на портале Anti-Malware.ru