Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

В паблик выложена коллекция документов PDF общим объемом около 8 Тбайт, созданная сотрудниками NASA JPL (Jet Propulsion Laboratory). Ресурс можно использовать для поиска вредоносов, спрятанных в файлах, а также багов в реализациях PDF-технологии.

Работы по составлению репрезентативной выборки были проведены совместно с НКО PDF Association в рамках программы SafeDocs, запущенной DARPA. За неполных два года JPL удалось собрать 8 млн файлов и дополнить их метаданными.

Для начала команда изучила каталог публичного репозитория Common Crawl, чтобы выявить PDF, пригодные для включения в коллекцию. В июле и августе 2021 года таким образом было отобрано около 8 млн кандидатов, из которых 2 млн. оказались усеченной копией.

Дело в том, что на Common Crawl действуют ограничения на загрузку: вес файлов не должен превышать 1 Мбайт. Полноценные копии пришлось добывать самостоятельно, используя специальный софт и URL, зафиксированные в репозитории.

Различные метаданные, такие как программа, с помощью которой создавался PDF, извлекались и приобщались к коллекции. Для определения местоположения сервера с сайтом-источником использовалась общедоступная программа геолокации.

Итоговый объем получился впечатляющим — 8 Тбайт. Новая коллекция размещена на серверах AWS, образцы можно скачать в виде ZIP-файлов.

Спецификации PDF замысловаты и объемны (1000 страниц англоязычного текста, содержащего 70 ссылок на другие нормативные документы), и в реализациях нередко встречаются опасные огрехи. Так, открытый юзером PDF-файл с зашифрованными данными можно использовать для эксфильтрации, возможна и подмена содержимого, от которой не спасает даже цифровая подпись. Использование PDF-формата также позволяет надежно скрыть вредоносный код от антивирусных сканеров.

Подпишитесь на новости

MaxPatrol SIEM 28.0: больше событий на том же железе, меньше аппетит к RAM

Positive Technologies выпустила MaxPatrol SIEM 28.0 и предлагает SOC выжать больше из уже имеющихся серверов. По внутренним тестам компании, система потребляет до 26% меньше ресурсов процессора и до 52% меньше оперативной памяти по сравнению с предыдущей версией. Покупку нового железа, возможно, получится отложить.

Разработчики оптимизировали компоненты обработки событий ИБ и хранения данных.

В приведённом компанией примере компонент версии 27.6 обрабатывал 20 тысяч событий в секунду, а после обновления — уже 40 тысяч на сопоставимых аппаратных ресурсах.

Архитектуру тоже пересмотрели. Если MaxPatrol SIEM работает отдельно от других платформенных продуктов, например MaxPatrol VM, ненужные роли можно не устанавливать. Меньше лишних компонентов — больше свободных ресурсов.

Обновился и модуль поведенческого анализа MaxPatrol BAD. Новый компонент HackTracker ищет злоумышленника по поведению, а не только по используемым инструментам. Кроме того, модуль теперь анализирует события с Unix-узлов и связывает их в цепочки подозрительной активности.

В версии 28.0 упростили настройку ИИ-помощника PT Naira. Он помогает писать правила нормализации, объясняет события и ищет информацию в документации. По заявлению разработчика, помощник способен сократить время расследования до 50%, а трудозатраты на создание правил — до 90%. Его обновления будут выходить независимо от релизов SIEM.

Аналитикам добавили больше контекста в карточки стандартных правил корреляции, быстрые переходы к рабочим разделам и нативную тёмную тему. Последняя сервер не разгрузит, зато ночная смена оценит.

Версия 28.0 уже доступна для самостоятельного обновления. Главная ставка релиза — рост объёма обработки без обязательного похода за новыми серверами.

RSS: Новости на портале Anti-Malware.ru