Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

Ученые НАСА собрали из Сети 8 млн PDF-файлов для изучения скрытых угроз

В паблик выложена коллекция документов PDF общим объемом около 8 Тбайт, созданная сотрудниками NASA JPL (Jet Propulsion Laboratory). Ресурс можно использовать для поиска вредоносов, спрятанных в файлах, а также багов в реализациях PDF-технологии.

Работы по составлению репрезентативной выборки были проведены совместно с НКО PDF Association в рамках программы SafeDocs, запущенной DARPA. За неполных два года JPL удалось собрать 8 млн файлов и дополнить их метаданными.

Для начала команда изучила каталог публичного репозитория Common Crawl, чтобы выявить PDF, пригодные для включения в коллекцию. В июле и августе 2021 года таким образом было отобрано около 8 млн кандидатов, из которых 2 млн. оказались усеченной копией.

Дело в том, что на Common Crawl действуют ограничения на загрузку: вес файлов не должен превышать 1 Мбайт. Полноценные копии пришлось добывать самостоятельно, используя специальный софт и URL, зафиксированные в репозитории.

Различные метаданные, такие как программа, с помощью которой создавался PDF, извлекались и приобщались к коллекции. Для определения местоположения сервера с сайтом-источником использовалась общедоступная программа геолокации.

Итоговый объем получился впечатляющим — 8 Тбайт. Новая коллекция размещена на серверах AWS, образцы можно скачать в виде ZIP-файлов.

Спецификации PDF замысловаты и объемны (1000 страниц англоязычного текста, содержащего 70 ссылок на другие нормативные документы), и в реализациях нередко встречаются опасные огрехи. Так, открытый юзером PDF-файл с зашифрованными данными можно использовать для эксфильтрации, возможна и подмена содержимого, от которой не спасает даже цифровая подпись. Использование PDF-формата также позволяет надежно скрыть вредоносный код от антивирусных сканеров.

Подпишитесь на новости

Шадаев призвал вендоров NGFW искать деньги у заказчиков, а не у государства

Власти обсуждали возможность выделить субсидии одному-двум российским разработчикам NGFW, но решили не назначать любимчиков и не вмешиваться в рыночную борьбу. Об этом глава Минцифры Максут Шадаев рассказал на конференции «День ТризТех: звезда родилась».

По словам министра, соблазн выдать отдельным вендорам деньги на разработку межсетевых экранов нового поколения был большим.

Однако государственный карт-бланш сам по себе не создаёт успешный продукт и не гарантирует, что на выходе получится решение, которое действительно нужно рынку.

Рекомендация разработчикам прозвучала так: искать заказчика, готового инвестировать в создание продукта. Если бизнес согласен вкладываться ещё до выхода решения, значит, у технологии есть не только презентация и дорожная карта, но и реальный спрос.

Выступление прошло в рамках конференции ТризТех, посвящённой российскому рынку NGFW и сетевой безопасности. Сам вендор ранее заявил о намерении занять 15-20% рынка межсетевых экранов уже в 2026 году.

Шадаев также назвал информационную безопасность одним из российских ИТ-направлений с наибольшим экспортным потенциалом. Зарубежные заказчики, по его словам, не хотят полностью зависеть от западных производителей и стремятся балансировать поставщиков.

Для российских компаний это открывает окно возможностей, но заходить в него придётся с конкурентным продуктом.

Государство готово не мешать, но оплачивать разработку за всех не собирается. Сначала найдите клиента, потом спасайте его периметр.

RSS: Новости на портале Anti-Malware.ru