Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

МегаФон запустил доступ к популярным зарубежным ИИ-моделям

Оператор связи «МегаФон» запустил новый продукт для бизнеса — «МегаНейросети», в рамках которого корпоративные клиенты получили доступ к популярным зарубежным ИИ-моделям. Пользоваться сервисом можно через веб-интерфейс или чат-бот.

Осенью 2025 года аналогичные услуги запустили МТС, «Билайн» и оператор Yota, присоединённый к «МегаФону».

Помимо прямого доступа к зарубежным ИИ-моделям, включая Gemini, ChatGPT и Claude, сервис предлагает инструменты, упрощающие создание запросов. При этом для подключения к моделям не требуется использовать VPN или прибегать к каким-либо дополнительным способам оплаты и другим обходным решениям.

По оценке ТАСС, такие сервисы оказались весьма востребованными и быстро набирают популярность среди клиентов. На этом фоне «МегаФон» также запустил собственный сервис «МегаНейросети».

«МегаНейросети» ориентированы на корпоративных клиентов. Бесплатная подписка включает доступ к шести зарубежным моделям с ограниченным числом запросов, платная — к 25. Кроме того, пользователям доступны веб-интерфейс и чат-бот для более удобной работы. Среди моделей, с которыми работает сервис, — DeepSeek, Gemini, Qwen, GPT-5.4, Veo 3 и Kling.

Оператор не исключает, что в будущем этот сервис станет доступен и обычным пользователям.

RSS: Новости на портале Anti-Malware.ru