Перейти к содержанию
Иван

The WildList is Dead, Long Live the WildList!

Recommended Posts

Иван

Вот Андреас Маркс (AV-Test.org) опубликовал у себя свою презентацию с VB2007 под названием The WildList is Dead,Long Live the WildList!

В ней он говорит что WildList, на основе которого в частности проводится тесты VB100% плохо и мало пополняется зловредами и не отражает текущую ситуацию со зловредами в дикой природе

Problem 1: The Changing Threat Landscape

The WildList only reflects viruses, worms and certain variants of bots running on Microsoft OS for PCs (e.g. Windows XP) which are able to replicate

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

Traditional viruses and worms died out, we’re living in the world of a commercial malware industry

Problem 2: Number of Malware Samples

In 1996, we had an average of 8 viruses per month which were added to the WildList

The maximum of newly added viruses was reached in 2005 with 36 samples per month

In 2007 we have an average of only 20 samples which were added to the monthly WildList releases (with a minimum of 6 samples in March)

BUT is this really a good reflection of today’s malware situation? Is the number of “in the wild” malware really that low?

We have some different numbers from our lab…

Тогда как его Маркса коллекция пополняется существенно резвее

Кроме этого у WildList куча других проблем (смотри презу целиком в аттаче) и в итоге по мнению Маркса тесты основанные WildList (в частности VB100%) удобны для маркетинга продуктов их проходящих, но реально не отражают уровень антивирусов.

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Занятно, что Sophos не замедлил вступиться за любимый журнал Virus Bulletin и его тесты http://www.sophos.com/security/blog/2007/09/594.html:

On the other hand, Wildlist samples are verified by skilled reporters and the quality of samples is very high. With large sets used by testing companies such as AV-Test.org it is not so easy to verify that every sample in the test set is actually malicious. One could, perhaps, rely on the scanning results of anti-virus products, but the fact is that different vendors choose to detect different classes of files, especially one with borderline malware characteristics such as adware and dialers.

After all, the purpose of the Wildlist from its beginning was to provide a basic set of viruses that should be detected by every decent anti-virus product and as such it is still a valuable resource for testers. Despite some of its shortcomings, it is quite interesting that even some major anti-virus products sometimes miss samples from the Wildlist. A good way to track the detection performance of products against the Wildlist test set is to follow the results of the regular VB100 tests conducted by Virus Bulletin.

Вот такая вышла дискуссия, материалы Маркса в аттаче

2007_09_vb_2007_wildlist.zip

_____.jpg

2007_09_vb_2007_wildlist.zip

post-10-1191448258.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Мое мнение, что WildList морально устарел, коллекция слишком маленькая и не представляет репрезентативную выборку из всего многообразия существующих вредоносов. Соглсен с Марксом в части:

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

и

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Тесты на коллекции WildList сейчас показывают только на лузеров, которые не могут взять даже такую скромную коллекцию. Про проверку реального уровеня детекта речь не идет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин

Кажется недостатки WildList (и VB100%) уже довольно давно и полно обсуждались в этом форуме.

Тут важно, что сам Андрес с высокой трибуны об этом авторитетно заявил. В зале после его выступления шушукались. Было озвучено мнение, что вероятно он сам хочет создать и возглавить нечно лучшее, чем WildList.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych

Я тоже считаю что WildList устарел по своей идеологии, причём давно. Но тут вопрос: А какова альтернатива?

Сейчас тестовые центры практикуют два вида тестов антивирусов (не считая специализированные, типа ретроспективнй тест Клементи, или проводимые тут тесты противодействия малваре, распаковки и т.п.), это:

1. тесты на больших коллекциях, которые невесть как собирались и чистоту которых никто гарантировать не может;

2. тесты на коллекциях типа WildList, а часто именно на этой коллекции.

Тесты на больших коллекциях кроме статистики мало о чём говорят. Тесты на WildList (в текущем видел) тоже. Так что делать ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Werasy

Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Защита от неизвестных угроз - это здорово, модно и все такое, но

здесь же разговор о другом. Реактивную защиту никто еще не собирается списывать со счетов и ее тоже как-то нужно проверять на эффективность.

От инструмента зависит очень многое. Можно мерить кривой линейкой, а можно штангенциркулем. Результаты могут сильно разниться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • PR55.RP55
      1) По поводу команды: Сбросить атрибуты для все файлов/каталогов в... Это не работает, если не заданы: Группы или пользователи. т.е. нужно проверить не пуст ли список... Если пуст:  прописать пользователя. И только после этого можно сбросить атрибуты... 2) При проверке ЭЦП по F6 ... Если неполадки с сетевым оборудованием, или службами отвечающими за доступ к сети... uvS видит: Сеть есть... и начинает проверять файлы. А по сути сети нет. т.е. здесь нужен таймер.: Если в течении определённого времени нет результата - то проверять ЭЦП локально ( с соответствующей записью в Лог )   Не ждать, как сейчас 100 500 часов. 3)  Проверка занимает излишне много времени в ситуации: Ошибка  [Не удается построить цепочку сертификатов для доверенного корневого центра. ]
      Ошибка  [Цепочка сертификатов обработана, но обработка прервана на корневом сертификате, у которого отсутствует отношение доверия с поставщиком доверия. ] uVS натыкается на такой файл и думает... думает...
    • PR55.RP55
      1) Если оператор применил фильтр  [V]  Известные. То при применении команды: F6   проверять только оставшиеся в списке файлы. Это на порядок ускорит проверку.  Нужно проверить всё ? Сними чек-бокс.  
    • PR55.RP55
      В Инфо. указывать не только время создания\изменения файла но и время создания... Пример:  Система Установлена 2018  > Каталог создан в 2020, а файл в каталоге  2021  
    • santy
      как только заработает функция "выполнить запрос по критерию" - все отфильтрованные объекты будут на виду у оператора, и скорее всего, помещены в отдельную категорию. Кстати, всех участников данного форума (помимо проходящих мимо спамеров) поздравляю с Новым 2021 годом!
    • PR55.RP55
      1) Добавить в settings.ini  настройку: "Выделять все неизвестные ЭЦП" Таким образом все ЭЦП которых нет в базе:  wdsl будут на виду. Это  позволит пополнять базу wdsl и сразу акцентировать внимание оператора. 2) Добавить в settings.ini  настройку: Все файлы с неизвестной ЭЦП  помечать, как подозрительные. Или создать отдельную категорию: "Неизвестные ЭЦП" 3) В Инфо. файла помещать информацию типа: Действительна, подписано CAVANAGH NETS LIMITED Найдено файлов: 1 wdsl   [ - ] --------------- Действительна, подписано Mozilla Corporation Найдено файлов: 80 wdsl   [ + ]  
×