Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Бывшему сотруднику Google грозит 15 лет за кражу секретов ИИ-разработок

Большое жюри суда Северной Каролины утвердило обвинительное заключение по делу 38-летнего Линь-Вэй Дина (Linwei Ding), открытому в связи с кражей у Google более 2000 документов, связанных с разработками в сфере ИИ.

По версии следствия, Дин, проработавший в Google программистом с 2019 года до конца 2023-го, решил создать свой стартап в КНР и даже встречался с потенциальными инвесторами, попросив сослуживца прикрыть свое отсутствие в офисе.

Чтобы не начинать с чистого листа, предприимчивый инженер стал выкачивать данные из сети работодателя — о суперкомпьютерном ЦОД, специально построенном для ИИ, о софте для его управления, ИИ-моделях, приложениях, кастомных чипах.

Исходники он скачивал в Apple Notes на рабочем MacBook, а затем конвертировал их в PDF и под своим Google-аккаунтом выгружал в облако, чтобы замести следы. За две недели до увольнения Дин скачал все украденные секреты на свой персональный компьютер.

Когда пропажу обнаружили, техногигант обратился в суд. Арест подозреваемого в связи с выдвинутыми обвинениями состоялся в марте 2024 года.

Позднее выяснилось, что тот также подал заявку на участие в программе правительства КНР, призванной обеспечить приток в страну специалистов по исследованиям и разработке. Этот факт позволял трактовать кражу секретов Google как промышленный шпионаж в пользу иностранного государства.

В США Дину инкриминируют семь эпизодов хищения коммерческой тайны и семь эпизодов экономического шпионажа. По первой статье ему грозит до 10 лет лишения свободы, по второй — до 15 лет.

RSS: Новости на портале Anti-Malware.ru