Loom вышел из строя из-за изменений в CDN-сети

Работа популярного сервиса Loom, используемого для аудио- и видеозаписи с экрана, была прервана 7 марта; сначала для части клиентов, потом для всех 17,75 млн пользователей по всему миру. Это вызвало опасения со стороны клиентов, которые решили, что сервис был взломан, а часть снятого персонального видео могла быть украдена.

Страхи были развеяны через 12 часов, когда на сайте компании в разделе официальных уведомлений было размещено экстренное сообщение. Представители сервиса заявили, что нарушения в работе Loom не были связаны со взломом, а произошли вследствие технической ошибки. Информация была доведена также персонально до каждого клиента, которого затронула возможная проблема раскрытия личных данных.

Сервис Loom

Сервис Loom широко используется геймерами и обычными пользователями для снятия видео с экрана и / или веб-камеры и последующего асинхронного обмена с подписчиками по ссылке. Для передачи видео применяется особая технология, запатентованная компанией Loom. Этот канал многие используют для общения с друзьями, записи обучающих курсов и поясняющих клипов, для распространения презентаций, видеоответов и т. д.

Разработчик сервиса уделяет значительное внимание безопасности своего приложения. Компания поддерживает обширную программу Bug Bounty на HackerOne. Поэтому выход сервиса из строя оказался для многих неожиданностью.

Технические подробности сбоя

Как сообщил в официальном блоге Loom Виная Хиремата (Vinay Hiremath), соучредитель и технический директор компании, причиной сбоя стало внесение инженерами изменения в конфигурацию собственной CDN-сети, используемой для доставки контента. В результате ошибки для части пользователей произошла отправка неправильных сеансовых cookie-файлов. В них сохраняются данные по аутентификации текущих сеансов, причем сервис использует автоматическое продление открытого сеанса при новом обращении клиента к API с заменой прежнего cookie-файла на новый.

Техническая ошибка произошла из-за того, что сервис отправил запрошенные сеансовые cookie-файлы по двум разным маршрутам в CDN-сети, где происходит их кеширование. В результате возникли побочные эффекты, которые привели к раздаче cookie-файлов ошибочным пользователям.

Как отметил Виная Хиремата, от момента получения первого предупреждения об ошибочной раздаче файлов до выявления причины сбоя прошло всего 7 минут. Поняв причину, инженеры Loom сначала пытались смягчить последствия, но им не удалось восстановить работоспособность сервиса. Поэтому через 20 минут было принято решение об отключении сервиса для пострадавших клиентов с целью предотвращения возможной утечки их данных.

Полное отключение работы сервиса Loom для всех пользователей произошло позднее — через один час и 9 минут после внесения исправлений в конфигурацию. После этого был осуществлен полный откат баз данных для восстановления работы сервиса. Сервис был остановлен в 11:30 (PST) и восстановлен только в 14:45 (PST).

Возможные утечки

Как сообщил технический директор (CTO), появилась угроза раскрытия служебной информации для ряда учетных записей, которая могла попасть в руки других пользователей. На текущий момент известно, что пострадали в общей сложности 5326 уникальных владельцев видео или 0,03% от общего числа пользователей Loom.

CTO отметил, что процессы внесения изменений в конфигурацию CDN были предварительно протестированы и подтверждены другими инженерами, занятыми на обслуживании инфраструктуры Loom. Подготовка длилась в течение 10 дней, и за это время не было замечено никаких аномальных происшествий. Никаких изменений кода, связанных с аутентификацией или поддержкой работы сеансов, не происходило.

Причиной внесения изменений стал переход от устаревших политик AWS, на базе инфраструктуры которого работает сервис Loom.

CTO заверил, что компания постарается улучшить свои инструменты мониторинга и оповещения, чтобы более быстро и надежно выявлять в будущем ненормальное использование сеансов в разных учетных записях и службах.