1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

1,8 ТБ и вагон ошибок: как выгрузка с Яндекс Диска превратилась в квест

Пользователь «Яндекс Диска» решил сделать резервную копию 1,8 ТБ файлов, а также примерно 160 ГБ фотографий и получил приключение с ошибками API, зависшими загрузками и собственными скриптами.

По его словам, после октябрьских проблем с дата-центрами привычное скачивание папок через веб-интерфейс стало недоступно.

Подробности инженер Сергей Терёхин, известный как KenGuru66, описал  в собственном разборе на Хабре.

План был такой: rclone, сервер в Нидерландах, копия в Google Drive. Но стандартная аутентификация позволяла получить сведения о диске, а обращения к файлам возвращали ошибку 410. Доступ удалось наладить с другим OAuth-токеном.

Фотографии из безлимитной автозагрузки добавили веселья: для копирования через выбранный API их пришлось переместить в обычную папку. После этого они начали занимать место в тарифе. Более 30 тысяч снимков переносились около шести часов.

В выборке из 300 случайных файлов автор смог получить начало только 146. По важной папке с документами он скопировал и проверил по MD5 2315 файлов; ещё 3079 на момент публикации оставались недоступны.

Потерю данных автор не утверждает, он продолжает повторные загрузки. Скрипты опубликованы на GitHub.

Подпишитесь на новости

ИТ-инфраструктуру Следственного комитета предлагают поручить Минцифры

Правительство внесло в Госдуму законопроект, который позволит централизованно обеспечивать Следственный комитет информационными системами, программами и ИТ-инфраструктурой через Минцифры. Разработку и снабжение предлагают организовать с опорой на компетенции министерства.

Документ № 23203-9 опубликован в электронной базе Госдумы. Он внесён 30 октября и предусматривает изменения в закон о Следственном комитете и законодательство о контрактной системе.

Предлагаемые полномочия охватывают создание и развитие информационных систем, информационно-телекоммуникационных сетей и необходимой инфраструктуры, а также обеспечение программными и программно-техническими средствами.

Аргумент правительства — эффективнее использовать федеральный бюджет за счёт опыта Минцифры в управлении проектами информатизации.

Дополнительно проект предусматривает возможность централизованных закупок для одного или нескольких федеральных государственных органов, включая Следственный комитет.

Пока это законодательное предложение. Говорить, что Минцифры уже приняло на обслуживание всю ИТ-инфраструктуру СК, рано: документу ещё предстоит парламентское рассмотрение.

Для поставщиков ПО и оборудования потенциально меняется организация закупок и проектов. А вот выводы о конкретных подрядчиках, продуктах или размере экономии из опубликованной инициативы сделать нельзя.

RSS: Новости на портале Anti-Malware.ru