1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

Пользователь «Яндекс Диска» решил сделать резервную копию 1,8 ТБ файлов, а также примерно 160 ГБ фотографий и получил приключение с ошибками API, зависшими загрузками и собственными скриптами.

По его словам, после октябрьских проблем с дата-центрами привычное скачивание папок через веб-интерфейс стало недоступно.

Подробности инженер Сергей Терёхин, известный как KenGuru66, описал  в собственном разборе на Хабре.

План был такой: rclone, сервер в Нидерландах, копия в Google Drive. Но стандартная аутентификация позволяла получить сведения о диске, а обращения к файлам возвращали ошибку 410. Доступ удалось наладить с другим OAuth-токеном.

Фотографии из безлимитной автозагрузки добавили веселья: для копирования через выбранный API их пришлось переместить в обычную папку. После этого они начали занимать место в тарифе. Более 30 тысяч снимков переносились около шести часов.

В выборке из 300 случайных файлов автор смог получить начало только 146. По важной папке с документами он скопировал и проверил по MD5 2315 файлов; ещё 3079 на момент публикации оставались недоступны.

Потерю данных автор не утверждает, он продолжает повторные загрузки. Скрипты опубликованы на GitHub.

Подпишитесь на новости

Ростелеком планирует подземные ЦОДы для защиты от внешних угроз

Серверы предлагают защищать не только резервными копиями, но и толщей грунта. «Ростелеком» работает над созданием подземных дата-центров и, по данным источников, обсуждает такой проект с «Норникелем». Причина — необходимость учитывать более серьёзные внешние угрозы.

О планах рассказали «Ведомости» со ссылкой на топ-менеджера оператора и собеседников, знакомых с переговорами.

Подземное размещение — третий уровень предлагаемой защиты. Первый предполагает резервную площадку с копиями данных, второй — распределение мощностей и сервисов между географически разнесёнными объектами. То есть просто закопать серверную и выдохнуть не получится.

Партнёрство с «Норникелем» может быть интересно и с энергетической стороны: у компании есть собственная генерация и свободные мощности, отмечают эксперты.

За дополнительную защищённость придётся доплатить. По оценке iKS-Consulting, заглублённый ЦОД может оказаться на 30-40% дороже сопоставимого наземного.

Потребуются гидроизоляция, вентиляция, газоконтроль, специальные системы пожаротушения и эвакуации, а также доставка оборудования под землю.

Конкретные сроки, площадки и параметры проекта с «Норникелем» в исходном материале не названы.

RSS: Новости на портале Anti-Malware.ru