Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Telegram не пустит сканер в личные переписки — Дуров раскритиковал ЕС

Павел Дуров резко прошёлся по Евросоюзу из-за обсуждения закона о контроле сообщений в онлайн-сервисах. Поводом стал пост о том, что в ЕС снова продвигают инициативу Chat Control, которая может разрешить сканирование сообщений, писем и фотографий пользователей для поиска запрещённого контента.

Дуров отреагировал без дипломатических кружев. По его словам, приёмы, которые раньше были типичны для банановых республик, теперь используются в ЕС для принятия законов о слежке.

Формулировка жёсткая, но посыл понятный: основателю Telegram не нравится идея, при которой частная переписка пользователей превращается в объект автоматической проверки.

В отдельном ответе Дуров также заявил, что Telegram не будет сканировать личные сообщения пользователей, какими бы бананово-республиканскими трюками ни пользовалась ЕС. Позиция мессенджера, по его словам, остаётся прежней: личная переписка не должна становиться кормом для массового мониторинга.

Ранее Европарламент вернул на рассмотрение законопроект, который связывают с инициативой Chat Control. В разных версиях обсуждалась возможность для онлайн-сервисов добровольно сканировать пользовательский контент, включая сообщения и медиафайлы, для выявления запрещённых материалов.

Критики такой идеи считают, что под лозунгом безопасности власти фактически получают механизм массовой проверки частной коммуникации. Сторонники, напротив, говорят о борьбе с незаконным контентом и защите пользователей.

Telegram в этой истории явно выбирает сторону приватности. Дуров фактически дал понять: даже если регуляторы будут закручивать гайки, превращать личные чаты в просматриваемый коридор мессенджер не собирается. Для ЕС это очередной конфликт с крупной платформой, для пользователей — напоминание, что битва за приватность в интернете снова идёт не где-то в теории, а прямо в их переписках.

RSS: Новости на портале Anti-Malware.ru