Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

DDoS-2025: +25% атак, рекорд 569 Гбит/с и 7 172 атаки в месяц

В 2025 году DDoS-атаки на российский бизнес стали чаще, мощнее и заметно продолжительнее. Об этом говорится в аналитическом отчёте Selectel, подготовленном на основе данных собственного сервиса защиты. За год компания отразила 140 628 атак — это на 25% больше, чем в 2024-м.

В среднем ежемесячно фиксировалось около 11,7 тыс. инцидентов, а самый «горячий» месяц пришёлся на январь — тогда число атак превысило 14,6 тыс.

В декабре был зафиксирован и антирекорд по числу атак на одного клиента — 7 172 за месяц, что на 73% больше прошлогоднего максимума.

Растёт не только количество, но и «вес» атак. Максимальный объём одной из них достиг 569 Гбит/с — плюс 38% год к году. Пиковая скорость составила 193 млн пакетов в секунду, что на 16% выше показателя 2024 года. Объёмные атаки традиционно нацелены на переполнение каналов связи, а высокоскоростные — на истощение вычислительных ресурсов.

Атаки стали и дольше. Общее время, в течение которого клиенты находились под воздействием DDoS, составило 22 743 часа — на 67% больше, чем годом ранее. Максимальная суммарная длительность атак на одного клиента достигла 863 часов — почти 36 календарных дней. Самый продолжительный одиночный инцидент длился 353 часа, то есть около 15 дней без перерыва.

По словам руководителя направления продуктовой безопасности Selectel Антона Ведерникова, в 2025 году усилился тренд на так называемые «зондирующие» и «ковровые» атаки — относительно слабые, но частые. Их цель — разведка и поиск уязвимых мест в инфраструктуре. После этого по найденным целям могут наноситься уже точечные и более мощные удары. По сути, DDoS окончательно перестали быть разовой проблемой и превратились в постоянный операционный риск.

 

Интересно, что разнообразие типов атак сократилось. Почти 87% всех инцидентов пришлось всего на два типа — TCP SYN Flood и TCP PSH/ACK Flood. При этом к концу года доля SYN Flood достигла 65%. А вот UDP Flood, ранее довольно распространённые, практически сошли на нет.

SYN Flood работает за счёт массовой отправки запросов на установление соединения, из-за чего сервер накапливает «полуоткрытые» сессии и перестаёт справляться с легитимным трафиком. В случае PSH/ACK Flood система перегружается потоком поддельных TCP-пакетов, на обработку которых тратятся ресурсы.

Данные отчёта основаны на анализе трафика в дата-центрах Selectel. Защита работает на сетевом и транспортном уровнях (L3 и L4), а фильтрация трафика, по оценке компании, позволяет выявлять и отсекать подавляющее большинство нелегитимных запросов.

RSS: Новости на портале Anti-Malware.ru