Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

Немецкая полиция читает WhatsApp и Signal без взлома шифрования

Правоохранительные органы Германии используют клонирование аккаунтов для слежки за перепиской в WhatsApp (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России), Signal и Telegram. Для этого они подключают служебный компьютер к учётной записи подозреваемого как обычное доверенное устройство. Шифрование остаётся целым, просто полиция тихо садится внутрь защищённого канала.

О практике рассказало netzpolitik.org, получившее секретную директиву Таможенного криминального управления Германии (ZKA).

Метод тестировали с конца 2023 года, а 1 августа 2025-го перевели в статус постоянного инструмента для расследования тяжких и организованных преступлений.

Следователи используют штатные функции WhatsApp Web, Telegram Web и Signal Desktop. Чтобы привязать новый компьютер, нужен QR-код, подтверждение в приложении или проверочный код. Получить его можно через изъятый или добровольно переданный телефон, перехват СМС либо фишинг.

В одном из описанных случаев супруги дали полиции смартфоны, чтобы сотрудники сфотографировали сообщения от их дочери. Вместо этого полицейские якобы незаметно активировали WhatsApp Web и получили постоянный доступ к будущей переписке. Сервис воспринимал компьютер как легальное устройство и сам отправлял на него расшифрованные сообщения.

Некоторые клиенты синхронизируют и старую переписку. При подключении Signal постороннее устройство может получить сообщения за предыдущие 45 дней. Технически оно также способно видеть контакты и отправлять сообщения от имени владельца.

Ведомство не раскрывает масштабы слежки, сославшись на государственную тайну. Пользователям остаётся проводить ревизию самостоятельно: открыть раздел «Связанные устройства» в мессенджере и завершить все незнакомые сеансы.

RSS: Новости на портале Anti-Malware.ru