Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Подпишитесь на новости

РКН указал на Google Forms как на риск для локализации персональных данных

Собрать заявки через Google Forms удобно, но удобство не отменяет требований к персональным данным. В докладе Роскомнадзора сервис отдельно отмечен как проблемный вариант в контексте локализации баз данных граждан России. Форма на пять минут может обернуться вопросами, на которые отвечать придётся значительно дольше.

Такая позиция представлена в материалах выступления начальника управления по защите прав субъектов персональных данных РКН Юрия Контемирова на семинаре системы ГАРАНТ 5 ноября.

На слайде об «иностранных элементах» ведомство подчёркивает: первично — соблюдение требований к локализации баз на территории РФ. Рядом с перечислением операций, включая запись, хранение и извлечение данных, использование Google Forms помечено красным крестом.


Отдельно РКН разграничивает локализацию и трансграничную передачу. Последняя определяется как передача данных иностранному лицу на территорию иностранного государства. Для неё предусмотрен собственный порядок, включая уведомление ведомства.

При этом, согласно презентации, передача российскому получателю сама по себе не становится трансграничной только потому, что используется иностранный мессенджер. Но такая квалификация не снимает отдельных требований к локализации.

В докладе также указан штраф до 6 млн рублей по части 8 статьи 13.11 КоАП за нарушение требований локализации.

RSS: Новости на портале Anti-Malware.ru