The WildList is Dead, Long Live the WildList!

[Иван 290]

Вот Андреас Маркс (AV-Test.org) опубликовал у себя свою презентацию с VB2007 под названием The WildList is Dead,Long Live the WildList!

В ней он говорит что WildList, на основе которого в частности проводится тесты VB100% плохо и мало пополняется зловредами и не отражает текущую ситуацию со зловредами в дикой природе

Problem 1: The Changing Threat Landscape

The WildList only reflects viruses, worms and certain variants of bots running on Microsoft OS for PCs (e.g. Windows XP) which are able to replicate

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

Traditional viruses and worms died out, we’re living in the world of a commercial malware industry

Problem 2: Number of Malware Samples

In 1996, we had an average of 8 viruses per month which were added to the WildList

The maximum of newly added viruses was reached in 2005 with 36 samples per month

In 2007 we have an average of only 20 samples which were added to the monthly WildList releases (with a minimum of 6 samples in March)

BUT is this really a good reflection of today’s malware situation? Is the number of “in the wild” malware really that low?

We have some different numbers from our lab…

Тогда как его Маркса коллекция пополняется существенно резвее

Кроме этого у WildList куча других проблем (смотри презу целиком в аттаче) и в итоге по мнению Маркса тесты основанные WildList (в частности VB100%) удобны для маркетинга продуктов их проходящих, но реально не отражают уровень антивирусов.

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Занятно, что Sophos не замедлил вступиться за любимый журнал Virus Bulletin и его тесты http://www.sophos.com/security/blog/2007/09/594.html:

On the other hand, Wildlist samples are verified by skilled reporters and the quality of samples is very high. With large sets used by testing companies such as AV-Test.org it is not so easy to verify that every sample in the test set is actually malicious. One could, perhaps, rely on the scanning results of anti-virus products, but the fact is that different vendors choose to detect different classes of files, especially one with borderline malware characteristics such as adware and dialers.

After all, the purpose of the Wildlist from its beginning was to provide a basic set of viruses that should be detected by every decent anti-virus product and as such it is still a valuable resource for testers. Despite some of its shortcomings, it is quite interesting that even some major anti-virus products sometimes miss samples from the Wildlist. A good way to track the detection performance of products against the Wildlist test set is to follow the results of the regular VB100 tests conducted by Virus Bulletin.

Вот такая вышла дискуссия, материалы Маркса в аттаче

2007_09_vb_2007_wildlist.zip

2007_09_vb_2007_wildlist.zip

[Сергей Ильин 1538]

Мое мнение, что WildList морально устарел, коллекция слишком маленькая и не представляет репрезентативную выборку из всего многообразия существующих вредоносов. Соглсен с Марксом в части:

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

и

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Тесты на коллекции WildList сейчас показывают только на лузеров, которые не могут взять даже такую скромную коллекцию. Про проверку реального уровеня детекта речь не идет.

[Михаил Кондрашин 55]

Кажется недостатки WildList (и VB100%) уже довольно давно и полно обсуждались в этом форуме.

Тут важно, что сам Андрес с высокой трибуны об этом авторитетно заявил. В зале после его выступления шушукались. Было озвучено мнение, что вероятно он сам хочет создать и возглавить нечно лучшее, чем WildList.

[OlegSych 40]

Я тоже считаю что WildList устарел по своей идеологии, причём давно. Но тут вопрос: А какова альтернатива?

Сейчас тестовые центры практикуют два вида тестов антивирусов (не считая специализированные, типа ретроспективнй тест Клементи, или проводимые тут тесты противодействия малваре, распаковки и т.п.), это:

1. тесты на больших коллекциях, которые невесть как собирались и чистоту которых никто гарантировать не может;

2. тесты на коллекциях типа WildList, а часто именно на этой коллекции.

Тесты на больших коллекциях кроме статистики мало о чём говорят. Тесты на WildList (в текущем видел) тоже. Так что делать ?

[Werasy 0]

Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

[Сергей Ильин 1538]

Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Защита от неизвестных угроз - это здорово, модно и все такое, но

здесь же разговор о другом. Реактивную защиту никто еще не собирается списывать со счетов и ее тоже как-то нужно проверять на эффективность.

От инструмента зависит очень многое. Можно мерить кривой линейкой, а можно штангенциркулем. Результаты могут сильно разниться.