Wayback Machine теряет доступ к сайтам СМИ, под угрозой архив интернета

У «Архива Интернета» (Internet Archive) новая проблема: всё больше крупных медиа блокируют доступ к краулеру Wayback Machine — сервиса, который годами сохраняет старые версии веб-страниц и помогает не потерять материалы после правок, удалений или закрытия сайтов. Такой доступ уже ограничили 23 крупных новостных сайта, а также Reddit.

Ситуация выглядит особенно иронично потому, что сами журналисты регулярно пользуются Wayback Machine в своей работе.

Wired приводит пример USA Today: издание использовало архив для расследования о том, как ICE затягивала раскрытие информации о последствиях своей политики содержания задержанных. Но при этом компания USA Today Co., управляющая одноимённым изданием и ещё более чем 200 медиаактивами, сама ограничивает архивирование своего контента для Wayback Machine.

В Internet Archive считают, что всё это уже не просто спор о ботах и скрейпинге, а реальная угроза цифровой памяти интернета. В блоге организации говорится, что опасения издателей из-за ИИ-скрейпинга не должны приводить к исчезновению исторического следа веба. Организация подчёркивает, что Wayback Machine содержит более одного триллиона сохранённых страниц и ежедневно используется журналистами, исследователями и даже судами.

У издателей, впрочем, своя логика. Некоторые из них опасаются, что архив может использоваться как обходной путь для массового сбора контента ИИ-компаниями или для доступа к материалам вне привычной модели дистрибуции. В случае с USA Today издание заявило Wired, что было вынуждено принимать меры против скрейпинг-ботов и не ставило отдельной целью именно блокировку Internet Archive.

На этом фоне в защиту Wayback Machine уже выступили сами журналисты. Коалиция собрала более 100 подписей и направила письмо в поддержку Internet Archive. Среди подписантов есть как известные тележурналисты, так и независимые репортёры.

В письме подчёркивается, что раньше журналисты могли опираться на бумажные архивы редакций и библиотек, а теперь, когда многие локальные издания закрылись или полностью ушли в цифру, всё больше работы по сохранению медийной истории ложится именно на Internet Archive.