Более 100 000 репозиториев GitHub сливали API и криптографические ключи

Более 100 000 репозиториев GitHub сливали API и криптографические ключи

Более 100 000 репозиториев GitHub сливали API и криптографические ключи

Университет штата Северная Каролина (NCSU) на протяжении шести месяцев сканировал миллиарды файлов, размещенные в публичных репозиториях GitHub. Как показали результаты, более 100 000 репозиториев «сливали» API-токены и криптографические ключи.

Специалисты NCSU просканировали лишь 13% от общего числа всех публичных репозиториев GitHub. В итоге оказалось, что тысячи новых репозиториев ежедневно раскрывали новые «секреты».

Инициатива Университета штата Северная Каролина была запущена с согласия проекта GitHub, которому нужны были результаты сканирования для работы над новой функцией безопасности под названием Token Scanning (на данный момент в бета-режиме).

Сканирование (PDF), проведенное специалистами NCSU, на данный момент является самым исчерпывающим и тщательным. Аккаунты GitHub сканировались в период с 31 октября 2017 года по 20 апреля 2018 года.

В процессе скана эксперты искали строки, которые бы представляли формат API-токенов или криптографических ключей. При этом исследователи использовали не только GitHub Search API, но и снимки репозиториев GitHub, записанные базой данных Google BigQuery.

В течение этих шести месяцев специалисты проанализировали миллиарды файлов, которые принадлежали миллионам репозиториев GitHub.

По словам команды NCSU, им удалось найти 575 456 API и криптографических ключей, 201 642 из которых были уникальные.

300 ТБ музыки из сервиса Spotify утекли на торренты

Spotify оказался в центре громкого скандала из-за крупнейшей утечки музыки за всю историю стриминга. По данным даркнет-библиотеки Anna’s Archive, с платформы якобы было скачано почти 300 ТБ аудиоконтента, который уже распространяется на торрентах.

22 декабря Spotify подтвердил слив и заявил, что выявил и отключил «вредоносные пользовательские аккаунты», которые занимались незаконным скрейпингом и обходом DRM-защиты:

«Мы внедрили дополнительные меры защиты и продолжаем мониторинг подозрительной активности. С первого дня мы стоим на стороне артистов и боремся с пиратством», — говорится в заявлении компании.

Ранее Spotify также сообщил Android Authority, что третья сторона получила несанкционированный доступ, выгрузила публичные метаданные и «с использованием нелегальных методов» смогла получить доступ к части аудиофайлов.

И вот это самое слово «часть» — ключевое. По утверждению Anna’s Archive, в Сеть попало около 86 миллионов треков — это примерно 37% всей музыкальной библиотеки Spotify, но при этом они якобы покрывают 99,9% всех прослушиваний на платформе.

 

Основные детали утечки выглядят так:

  • большинство файлов сохранены в оригинальном формате OGG Vorbis 160 kbps;
  • треки с нулевой популярностью были перекодированы до 75 kbps, чтобы сэкономить место;
  • выгружено 256 миллионов строк метаданных, охватывающих 99,6% всех прослушиваний;
  • собрано 186 миллионов уникальных ISRC-кодов — глобальных идентификаторов музыкальных записей (аналог ISBN у книг);
  • восстановлен почти полный JSON-аналог API Spotify: с артистами, альбомами, обложками и всей служебной информацией.

Все эти данные уже выложены в виде SQL-баз, доступных для запросов.

Anna’s Archive называет себя не пиратами, а «архивистами». В своём блоге группа объясняет, что цель проекта — долговременное сохранение всей музыки, а не только хитов.

По мнению авторов проекта, Spotify слишком ориентирован на популярность и коммерцию, а миру нужен «авторитетный набор торрентов, представляющий всю музыку, когда-либо созданную».

Файлы распространяются в собственном формате Anna’s Archive Containers (AAC), который проект использует уже несколько лет. Метаданные опубликованы сразу, а сами аудиофайлы будут выкладываться поэтапно, крупными блоками и отсортированными по популярности.

Так что реальные последствия этой истории — для Spotify, правообладателей и музыкальной индустрии в целом — станут заметны не сразу, а со временем.

Spotify, в свою очередь, продолжает расследование и подчёркивает, что работает с партнёрами по отрасли для защиты авторских прав. Но, судя по масштабам произошедшего, этот инцидент ещё долго будет всплывать в обсуждениях и явно войдёт в историю.

RSS: Новости на портале Anti-Malware.ru