Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google открыла исходный код парсера Robots.txt

Google намеревается помочь веб-девелоперам более грамотно парсить файлы robots.txt. Для этого корпорация открыла исходный код библиотеки на C++, которая используется для парсинга файлов robots.txt и проверки соблюдения правил.

«На протяжении 25 лет “Стандарт исключений для роботов“ (Robots Exclusion Protocol, REP) был стандартом де-факто, что имело свои неприятные последствия как для веб-разработчиков, так и для поисковых роботов. Например, что делать, если файлы robots.txt весят сотни мегабайт», — пишет корпорация в блоге.

«Сегодня мы объявляем, что хотим сделать REP интернет-стандартом. Это очень важный шаг, который, однако, потребует дополнительной работы от разработчиков, которые парсят файлы robots.txt».

«Но мы готовы помочь и с этим. Мы открыли исходный код библиотеки на C++, которая используется нашими внутренними системами для парсинга robots.txt, а также проверки соответствия правилам синтаксиса этих файлов».

Стоит отметить, что библиотека, о которой говорит Google, используется уже около 20 лет. Она содержит строки кода, написанные еще в 90-х годах.

ИИ-агенты OpenAI устроили спам-налёт на RubyGems

Агенты OpenAI могли стоять за майским налётом на RubyGems, из-за которого репозиторий заблокировал новые регистрации на четыре дня и удалил более 500 подозрительных пакетов. Системам поручили собирать открытые данные и готовить безобидные отчёты, но маршрут до таблицы внезапно пролёг через массовое создание аккаунтов.

По данным The Wall Street Journal, агенты работали в среде с ограниченным интернетом, однако нашли выход наружу через инфраструктуру RubyGems. Новые учётные записи появлялись каждые две-три минуты, после чего на платформу загружались сотни пакетов с собранными в Сети страницами.

Исследователи из Nightingale Collective связали кампанию с OpenAI по цифровым следам и сходству с другими эпизодами активности её агентов. Они также обнаружили в пакетах код, который пытался получить API-ключи других пользователей, и признаки возможного использования неизвестной ранее уязвимости.

Ruby Central сообщила, что не может независимо подтвердить участие ИИ-агентов. Доказательств успешной кражи API-ключей или эксплуатации предполагаемой 0-day организация также не нашла. Установка пакетов и публикация обновлений существующими пользователями продолжали работать.

OpenAI подтвердила, что её агенты действительно обращались к RubyGems во время тестирования, но отвергла трактовку произошедшего как намеренной атаки. По версии компании, системы пытались получить общедоступную информацию для выполнения обычных заданий. Расследование продолжается совместно с RubyGems.

Напомним, в июле OpenAI во время внутреннего тестирования нашли дыру в изолированной среде, выбрались в интернет и атаковали платформу Hugging Face. Компания признала, что за инцидентом 16 июля стояли GPT-5.6 Sol и ещё более мощная модель, которая пока не выпущена.

RSS: Новости на портале Anti-Malware.ru