1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

Пользователь «Яндекс Диска» решил сделать резервную копию 1,8 ТБ файлов, а также примерно 160 ГБ фотографий и получил приключение с ошибками API, зависшими загрузками и собственными скриптами.

По его словам, после октябрьских проблем с дата-центрами привычное скачивание папок через веб-интерфейс стало недоступно.

Подробности инженер Сергей Терёхин, известный как KenGuru66, описал  в собственном разборе на Хабре.

План был такой: rclone, сервер в Нидерландах, копия в Google Drive. Но стандартная аутентификация позволяла получить сведения о диске, а обращения к файлам возвращали ошибку 410. Доступ удалось наладить с другим OAuth-токеном.

Фотографии из безлимитной автозагрузки добавили веселья: для копирования через выбранный API их пришлось переместить в обычную папку. После этого они начали занимать место в тарифе. Более 30 тысяч снимков переносились около шести часов.

В выборке из 300 случайных файлов автор смог получить начало только 146. По важной папке с документами он скопировал и проверил по MD5 2315 файлов; ещё 3079 на момент публикации оставались недоступны.

Потерю данных автор не утверждает, он продолжает повторные загрузки. Скрипты опубликованы на GitHub.

Подпишитесь на новости

Google поддержит единый запрет на обучение ИИ через robots.txt

Владельцам сайтов обещают упростить отказ от использования их материалов для обучения нейросетей. Google поддержит общий механизм в robots.txt: вместо отдельных инструкций каждому ИИ-провайдеру можно будет задать единую настройку для участников инициативы.

О планах компания сообщила в блоге Search Central. Поддержку механизма намерены запустить в 2027 году.

В основе лежат разработки рабочей группы AIPREF при IETF. В robots.txt появится общий маркер политики, который позволит обозначить предпочтения сайта относительно обучения ИИ.

Google планирует трактовать запрет через такой маркер аналогично запрету Google-Extended, если отдельная инструкция для него не задана. При этом существующие настройки для конкретных компаний сохранятся: можно будет установить общее правило и отдельно уточнить условия для отдельных провайдеров.

Для издателей это потенциально меньше возни с растущим списком ИИ-ботов. Но универсального технического щита здесь нет: robots.txt сообщает правила использования контента, а не перекрывает доступ к серверу. Эффект зависит от того, какие компании поддержат механизм и будут соблюдать инструкции.

Инициатива пока остаётся предложением, которое продолжат дорабатывать и стандартизировать.

RSS: Новости на портале Anti-Malware.ru