Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

В паблик выложена коллекция документов PDF общим объемом около 8 Тбайт, созданная сотрудниками NASA JPL (Jet Propulsion Laboratory). Ресурс можно использовать для поиска вредоносов, спрятанных в файлах, а также багов в реализациях PDF-технологии.

Работы по составлению репрезентативной выборки были проведены совместно с НКО PDF Association в рамках программы SafeDocs, запущенной DARPA. За неполных два года JPL удалось собрать 8 млн файлов и дополнить их метаданными.

Для начала команда изучила каталог публичного репозитория Common Crawl, чтобы выявить PDF, пригодные для включения в коллекцию. В июле и августе 2021 года таким образом было отобрано около 8 млн кандидатов, из которых 2 млн. оказались усеченной копией.

Дело в том, что на Common Crawl действуют ограничения на загрузку: вес файлов не должен превышать 1 Мбайт. Полноценные копии пришлось добывать самостоятельно, используя специальный софт и URL, зафиксированные в репозитории.

Различные метаданные, такие как программа, с помощью которой создавался PDF, извлекались и приобщались к коллекции. Для определения местоположения сервера с сайтом-источником использовалась общедоступная программа геолокации.

Итоговый объем получился впечатляющим — 8 Тбайт. Новая коллекция размещена на серверах AWS, образцы можно скачать в виде ZIP-файлов.

Спецификации PDF замысловаты и объемны (1000 страниц англоязычного текста, содержащего 70 ссылок на другие нормативные документы), и в реализациях нередко встречаются опасные огрехи. Так, открытый юзером PDF-файл с зашифрованными данными можно использовать для эксфильтрации, возможна и подмена содержимого, от которой не спасает даже цифровая подпись. Использование PDF-формата также позволяет надежно скрыть вредоносный код от антивирусных сканеров.

Торвальдс подтвердил: Linux Kernel 7.0 почти готов и ускорит игры

Релизы ядра Linux долгое время интересовали в основном серверных администраторов и энтузиастов. Но с ростом популярности Steam Deck, SteamOS и игровых компьютеров на Linux ситуация меняется. И грядущий Linux Kernel 7.0 как раз из тех обновлений, на которые стоит обратить внимание не только серверщикам.

Как сообщает Phoronix, новая версия ядра принесёт целый набор улучшений производительности.

Большая часть изменений по-прежнему ориентирована на серверные нагрузки, но есть и новшества, которые потенциально улучшат отзывчивость системы и игровой опыт.

Самой интересной функцией называют TIP Time Slice Extension. Она позволяет приложению временно попросить у планировщика ядра немного дополнительного процессорного времени, если в данный момент выполняется критически важная задача.

Проще говоря, если игра или аудиоприложение понимает, что его вот-вот «прервут» в самый неподходящий момент, оно может вежливо попросить: «подожди секунду, я почти закончил». В теории это должно привести к более плавной работе тяжёлых приложений, снижению фризов и, возможно, к улучшению 1% low FPS в играх. Практику, правда, покажут только реальные тесты.

Ещё одно важное изменение — новый механизм управления памятью под названием sheaves. Формально он рассчитан на серверы, но может быть полезен и на десктопах.

Многие ресурсоёмкие приложения и игры постоянно выделяют и освобождают память, что иногда приводит к скачкам задержек при высокой нагрузке на CPU. Оптимизации sheaves потенциально помогут сгладить такие пики и сделать поведение системы более стабильным.

Для серверных сценариев в Linux Kernel 7.0 тоже много интересного:

  • Open Tree Namespace ускоряет создание контейнеров в Docker, Kubernetes и микросервисах;
  • улучшения в IO_uring и zero-copy networking снижают нагрузку на CPU при высоких скоростях сети (10 Гбит/с и выше);
  • дополнительная настройка планировщика помогает веб- и базам данных ровнее переживать пиковые нагрузки.

Если всё пойдёт по плану, Ubuntu 26 LTS может получить новое ядро уже в апреле. Примерно в те же сроки ожидается Fedora 44.

Ну и да — в Linux Kernel 7.0 наконец-то можно будет менять логотип Tux при загрузке. Мелочь, а приятно.

RSS: Новости на портале Anti-Malware.ru