Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Сенатор Шейкин уточнил порядок новых норм в отношении VPN

Как подчеркнул сенатор Артём Шейкин, новые нормы не направлены против конечных пользователей, а касаются в первую очередь провайдеров, платформ и технических посредников. По его словам, цель поправок — не массовое отслеживание граждан, а усиление контроля над инфраструктурой, обеспечивающей доступ к интернет-ресурсам.

Речь идёт о поправках ко второму чтению законопроекта №755710-8, которое намечено на ближайшие дни.

«Ужесточается ответственность владельцев VPN и других средств обхода блокировок в случае, если они не подключаются к федеральной системе фильтрации и не блокируют запрещённые ресурсы.

Предусмотрены "оборотные" штрафы для организаторов распространения информации, которые не внедряют технические средства для выполнения требований СОРМ (системы оперативно-разыскных мероприятий). В том числе это касается возможности предоставлять информацию по запросу уполномоченных органов», — заявил сенатор.

В комментарии РИА Новости Артём Шейкин заверил, что угрозы штрафов не будет для тех, кто использует средства подмены адресов для доступа к заблокированному контенту, но при этом не нарушает законодательство — в частности, не распространяет запрещённые материалы. Ответственность в таком случае понесёт оператор или владелец сервиса.

«Обычный просмотр страниц, даже материалов иноагентов или "сомнительных лиц", если они не внесены в соответствующий список, не является нарушением», — подчеркнул сенатор.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru