1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

Пользователь «Яндекс Диска» решил сделать резервную копию 1,8 ТБ файлов, а также примерно 160 ГБ фотографий и получил приключение с ошибками API, зависшими загрузками и собственными скриптами.

По его словам, после октябрьских проблем с дата-центрами привычное скачивание папок через веб-интерфейс стало недоступно.

Подробности инженер Сергей Терёхин, известный как KenGuru66, описал  в собственном разборе на Хабре.

План был такой: rclone, сервер в Нидерландах, копия в Google Drive. Но стандартная аутентификация позволяла получить сведения о диске, а обращения к файлам возвращали ошибку 410. Доступ удалось наладить с другим OAuth-токеном.

Фотографии из безлимитной автозагрузки добавили веселья: для копирования через выбранный API их пришлось переместить в обычную папку. После этого они начали занимать место в тарифе. Более 30 тысяч снимков переносились около шести часов.

В выборке из 300 случайных файлов автор смог получить начало только 146. По важной папке с документами он скопировал и проверил по MD5 2315 файлов; ещё 3079 на момент публикации оставались недоступны.

Потерю данных автор не утверждает, он продолжает повторные загрузки. Скрипты опубликованы на GitHub.

Подпишитесь на новости

HTTPS не делает вас невидимкой: на Хабре разобрали работу ТСПУ

Зашифровали соединение, теперь можно выдохнуть? С блокировками этот фокус работает далеко не всегда. На Хабре вышел подробный разбор ТСПУ — технических средств противодействия угрозам. Автор объясняет, как фильтры распознают соединения и почему сайт может зависнуть, даже если содержимое трафика защищено.

В материале пользователя owenewans путь запроса разобран по этапам: от получения IP-адреса через DNS до проверки соединения и передачи ответа.

Базовый принцип прост: для ограничения доступа необязательно читать переписку. Фильтру могут хватить IP-адреса, порта или признаков протокола. При обычном HTTPS без ECH имя сайта также может быть видно в начале TLS-соединения.

Отдельная история — замедление. Согласно описанию автора, система может отбрасывать часть пакетов, заставляя устройства повторять передачу. В результате страница вроде открылась, а видео стоит колом. Интернет формально есть, но пользоваться им практически невозможно.

В статье также объясняется разница между туннелями и средствами анти-DPI. Универсальной кнопки не получается: если закрыт сам IP-адрес, изменение признаков запроса проблему не решит.

RSS: Новости на портале Anti-Malware.ru