Перейти к содержанию
Иван

The WildList is Dead, Long Live the WildList!

Recommended Posts

Иван

Вот Андреас Маркс (AV-Test.org) опубликовал у себя свою презентацию с VB2007 под названием The WildList is Dead,Long Live the WildList!

В ней он говорит что WildList, на основе которого в частности проводится тесты VB100% плохо и мало пополняется зловредами и не отражает текущую ситуацию со зловредами в дикой природе

Problem 1: The Changing Threat Landscape

The WildList only reflects viruses, worms and certain variants of bots running on Microsoft OS for PCs (e.g. Windows XP) which are able to replicate

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

Traditional viruses and worms died out, we’re living in the world of a commercial malware industry

Problem 2: Number of Malware Samples

In 1996, we had an average of 8 viruses per month which were added to the WildList

The maximum of newly added viruses was reached in 2005 with 36 samples per month

In 2007 we have an average of only 20 samples which were added to the monthly WildList releases (with a minimum of 6 samples in March)

BUT is this really a good reflection of today’s malware situation? Is the number of “in the wild” malware really that low?

We have some different numbers from our lab…

Тогда как его Маркса коллекция пополняется существенно резвее

Кроме этого у WildList куча других проблем (смотри презу целиком в аттаче) и в итоге по мнению Маркса тесты основанные WildList (в частности VB100%) удобны для маркетинга продуктов их проходящих, но реально не отражают уровень антивирусов.

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Занятно, что Sophos не замедлил вступиться за любимый журнал Virus Bulletin и его тесты http://www.sophos.com/security/blog/2007/09/594.html:

On the other hand, Wildlist samples are verified by skilled reporters and the quality of samples is very high. With large sets used by testing companies such as AV-Test.org it is not so easy to verify that every sample in the test set is actually malicious. One could, perhaps, rely on the scanning results of anti-virus products, but the fact is that different vendors choose to detect different classes of files, especially one with borderline malware characteristics such as adware and dialers.

After all, the purpose of the Wildlist from its beginning was to provide a basic set of viruses that should be detected by every decent anti-virus product and as such it is still a valuable resource for testers. Despite some of its shortcomings, it is quite interesting that even some major anti-virus products sometimes miss samples from the Wildlist. A good way to track the detection performance of products against the Wildlist test set is to follow the results of the regular VB100 tests conducted by Virus Bulletin.

Вот такая вышла дискуссия, материалы Маркса в аттаче

2007_09_vb_2007_wildlist.zip

_____.jpg

2007_09_vb_2007_wildlist.zip

post-10-1191448258.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Мое мнение, что WildList морально устарел, коллекция слишком маленькая и не представляет репрезентативную выборку из всего многообразия существующих вредоносов. Соглсен с Марксом в части:

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

и

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Тесты на коллекции WildList сейчас показывают только на лузеров, которые не могут взять даже такую скромную коллекцию. Про проверку реального уровеня детекта речь не идет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Кондрашин

Кажется недостатки WildList (и VB100%) уже довольно давно и полно обсуждались в этом форуме.

Тут важно, что сам Андрес с высокой трибуны об этом авторитетно заявил. В зале после его выступления шушукались. Было озвучено мнение, что вероятно он сам хочет создать и возглавить нечно лучшее, чем WildList.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych

Я тоже считаю что WildList устарел по своей идеологии, причём давно. Но тут вопрос: А какова альтернатива?

Сейчас тестовые центры практикуют два вида тестов антивирусов (не считая специализированные, типа ретроспективнй тест Клементи, или проводимые тут тесты противодействия малваре, распаковки и т.п.), это:

1. тесты на больших коллекциях, которые невесть как собирались и чистоту которых никто гарантировать не может;

2. тесты на коллекциях типа WildList, а часто именно на этой коллекции.

Тесты на больших коллекциях кроме статистики мало о чём говорят. Тесты на WildList (в текущем видел) тоже. Так что делать ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Werasy

Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Защита от неизвестных угроз - это здорово, модно и все такое, но

здесь же разговор о другом. Реактивную защиту никто еще не собирается списывать со счетов и ее тоже как-то нужно проверять на эффективность.

От инструмента зависит очень многое. Можно мерить кривой линейкой, а можно штангенциркулем. Результаты могут сильно разниться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • santy
      согласен, не пользуюсь этим, (удалить только файл, из контекста на полном имени файла) потому наверное и забыл уже. использую только удаление файлов или объектов в контексте Инфо. те, что никак не вписываются в автоскрипт. тогда придется все контекстное меню переносить. например, кто-то захочет проверку на VT/VScan выполнить из Инфо, запретить запуск файла, добавить сигнатуру... и т.д. потому что если удалить сразу файл, то потом уже никак это не сделать.  
    • alamor
      Наугад потыкал на разных файлах, строка в Инфо удалить только сам файл была на всех начиная от системных файлов и заканчивая рассширением браузеров. Так что ваш вывод похоже ошибочен. А прочитать о чём изначально речь не пробовали? Речь как раз про то что это неудобно. Если ещё на одном файле посмотреть ладно, а если хотя бы пять или больше, то уже начинает надоедать туда сюда скакать и ещё после того как вернёшься из Инфо надо смотреть, чтобы случайно на другой строке не кликнуть. Так что наверно оптимальный вариант был бы: 1) Добавить туда по ПКМ список этих команд для тех, кто привык вставлять команды мышкой (вместо того чтобы вернуться в основной список и там ПКМ отдать команду сразу можно будет отдать её из этого окна). 2) Добавить в этом окне поддержку стандартных горячих клавиш удаления и карантина, для тех кто привык вставлять команды горячими клавишами.
    • santy
    • santy
      можно, но только через контекстное меню.  а это все то же дополнительное нажатие ПКМ + еще и стрелку вниз/вверх для выбора элемента меню+ click, так что не факт что это будет проще и быстрее. вообщем рационализация спорная, имхо. можно после просмотра Инфо вернуться в список и использовать уже настроенное меню всевозможных удалений.  
    • PR55.RP55
      Дело то не в этом. Дело в наличие команды:  " Удалить только сам файл" в меню Инфо. значит отдавать команды через меню Инфо. можно. ( Для системных файлов так ,или иначе уже реализована защита ссылок от удаления. ) Вернёмся к теме: " alamor пишет: неудобно, что посмотришь подробную инфу о файле по дабл-клику - примешь решение удалять его. И нельзя сразу из того же окна удалить его (или ссылки на него). Надо выходить из того окна и так. "  
×