Google поддержит единый запрет на обучение ИИ через robots.txt

Владельцам сайтов обещают упростить отказ от использования их материалов для обучения нейросетей. Google поддержит общий механизм в robots.txt: вместо отдельных инструкций каждому ИИ-провайдеру можно будет задать единую настройку для участников инициативы.

О планах компания сообщила в блоге Search Central. Поддержку механизма намерены запустить в 2027 году.

В основе лежат разработки рабочей группы AIPREF при IETF. В robots.txt появится общий маркер политики, который позволит обозначить предпочтения сайта относительно обучения ИИ.

Google планирует трактовать запрет через такой маркер аналогично запрету Google-Extended, если отдельная инструкция для него не задана. При этом существующие настройки для конкретных компаний сохранятся: можно будет установить общее правило и отдельно уточнить условия для отдельных провайдеров.

Для издателей это потенциально меньше возни с растущим списком ИИ-ботов. Но универсального технического щита здесь нет: robots.txt сообщает правила использования контента, а не перекрывает доступ к серверу. Эффект зависит от того, какие компании поддержат механизм и будут соблюдать инструкции.

Инициатива пока остаётся предложением, которое продолжат дорабатывать и стандартизировать.