Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

98% российских компаний имеют теневые ИТ-ресурсы и не знают об этом

Большинство проблем с кибербезопасностью у российских компаний скрывается там, где их меньше всего ждут — в теневых ИТ-активах. По данным BI.ZONE CPT, именно на таких «забытых» ресурсах в 2025 году обнаружено 78% всех уязвимостей, выявленных в ходе проверок.

Эксперты изучили ИТ-инфраструктуру более 200 российских организаций и пришли к неутешительному выводу: только 2% компаний действительно знают обо всех своих ИТ-активах.

В остальных случаях в инфраструктуре обнаруживаются домены, сервисы, IP-адреса, устройства и программные компоненты, о которых службы IT и кибербезопасности либо не знают вовсе, либо не контролируют их должным образом.

Речь идёт о так называемом shadow IT — ресурсах, которые появляются в обход корпоративных регламентов или со временем просто «выпадают» из поля зрения. Чаще всего это веб-сервисы и средства удалённого доступа. По данным BI.ZONE DFIR, именно такие теневые ресурсы присутствовали у 70% компаний, пострадавших в 2025 году от атак с шифрованием.

Проблема усугубляется скоростью, с которой злоумышленники начинают использовать новые уязвимости. Как отмечает Павел Загуменнов, руководитель направления EASM в BI.ZONE, до 60% уязвимостей начинают эксплуатироваться уже в первые часы или дни после появления публичных PoC или эксплойтов. Если же уязвимость находится на ресурсе, о котором никто не знает, она может оставаться открытой годами.

В таких условиях теневые ИТ-активы превращаются в удобную точку входа для атакующих. Получив доступ, они могут надолго «затаиться» внутри инфраструктуры. По данным BI.ZONE DFIR, среднее время незаметного присутствия злоумышленников составляет 42 дня, а в отдельных случаях доходило до 181 дня.

За это время атакующие успевают изучить сеть и выбрать наиболее выгодный способ монетизации — от шифрования данных ради выкупа до продажи доступа на теневых площадках.

RSS: Новости на портале Anti-Malware.ru