Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

В паблик выложена коллекция документов PDF общим объемом около 8 Тбайт, созданная сотрудниками NASA JPL (Jet Propulsion Laboratory). Ресурс можно использовать для поиска вредоносов, спрятанных в файлах, а также багов в реализациях PDF-технологии.

Работы по составлению репрезентативной выборки были проведены совместно с НКО PDF Association в рамках программы SafeDocs, запущенной DARPA. За неполных два года JPL удалось собрать 8 млн файлов и дополнить их метаданными.

Для начала команда изучила каталог публичного репозитория Common Crawl, чтобы выявить PDF, пригодные для включения в коллекцию. В июле и августе 2021 года таким образом было отобрано около 8 млн кандидатов, из которых 2 млн. оказались усеченной копией.

Дело в том, что на Common Crawl действуют ограничения на загрузку: вес файлов не должен превышать 1 Мбайт. Полноценные копии пришлось добывать самостоятельно, используя специальный софт и URL, зафиксированные в репозитории.

Различные метаданные, такие как программа, с помощью которой создавался PDF, извлекались и приобщались к коллекции. Для определения местоположения сервера с сайтом-источником использовалась общедоступная программа геолокации.

Итоговый объем получился впечатляющим — 8 Тбайт. Новая коллекция размещена на серверах AWS, образцы можно скачать в виде ZIP-файлов.

Спецификации PDF замысловаты и объемны (1000 страниц англоязычного текста, содержащего 70 ссылок на другие нормативные документы), и в реализациях нередко встречаются опасные огрехи. Так, открытый юзером PDF-файл с зашифрованными данными можно использовать для эксфильтрации, возможна и подмена содержимого, от которой не спасает даже цифровая подпись. Использование PDF-формата также позволяет надежно скрыть вредоносный код от антивирусных сканеров.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Кибер Хранилище: вышла новая система для S3-, файлового и блочного хранения

Компания «Киберпротект» расширила линейку инфраструктурного ПО и показала новый продукт — Кибер Хранилище. Это система для хранения данных, которую можно развернуть на обычных серверах и масштабировать без ограничений.

Продукт подходит для построения распределённой инфраструктуры хранения и поддерживает разные сценарии использования — от архивов до высоконагруженных систем.

Что под капотом

Кибер Хранилище — программная система хранения, которая разворачивается на стандартном оборудовании x86 с любыми типами накопителей (HDD, SSD, NVMe). Можно организовать несколько пулов хранения с разными характеристиками и управлять ими через единую панель. Поддерживаются три типа хранилищ:

  • Объектное (S3) — для работы с большими объёмами данных и хранения архивов. Поддерживает геораспределение и автоматическую репликацию.
  • Блочное — для систем с высокой нагрузкой, например, СУБД или виртуальных платформ.
  • Файловое — для хранения и обмена файлами внутри компании, а также для хостинга и архивов.

Также система интегрируется с резервным копированием Кибер Бэкап. Это позволяет хранить резервные копии локально или использовать Кибер Хранилище как промежуточный узел между системами копирования и внешними хранилищами (например, по протоколу S3 или NFS).

Хранилище можно настроить на нужный уровень отказоустойчивости — от базовой (например, для тестов) до такой, при которой система продолжит работать даже при выходе из строя половины оборудования. Для защиты данных используются репликация и технологии помехоустойчивого кодирования.

Система легко масштабируется: к ней можно добавлять новые серверы и формировать пулы с разной скоростью работы и стоимостью хранения. Есть возможность строить распределённые решения с репликацией данных между площадками — это делает продукт пригодным для систем, которым важна катастрофоустойчивость. Доступ к данным организован через единое DNS-имя, что упрощает архитектуру.

Кому подойдёт

Кибер Хранилище рассчитано на компании, которым нужно организовать надёжное хранение данных на российском решении, с возможностью быстро масштабироваться и интегрироваться с уже существующими ИТ-сервисами. Поддержка трёх типов хранилищ делает его универсальным инструментом для разных задач — от хранения резервных копий до обслуживания «тяжёлых» информационных систем.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru