Иван

The WildList is Dead, Long Live the WildList!

В этой теме 6 сообщений

Вот Андреас Маркс (AV-Test.org) опубликовал у себя свою презентацию с VB2007 под названием The WildList is Dead,Long Live the WildList!

В ней он говорит что WildList, на основе которого в частности проводится тесты VB100% плохо и мало пополняется зловредами и не отражает текущую ситуацию со зловредами в дикой природе

Problem 1: The Changing Threat Landscape

The WildList only reflects viruses, worms and certain variants of bots running on Microsoft OS for PCs (e.g. Windows XP) which are able to replicate

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

Traditional viruses and worms died out, we’re living in the world of a commercial malware industry

Problem 2: Number of Malware Samples

In 1996, we had an average of 8 viruses per month which were added to the WildList

The maximum of newly added viruses was reached in 2005 with 36 samples per month

In 2007 we have an average of only 20 samples which were added to the monthly WildList releases (with a minimum of 6 samples in March)

BUT is this really a good reflection of today’s malware situation? Is the number of “in the wild” malware really that low?

We have some different numbers from our lab…

Тогда как его Маркса коллекция пополняется существенно резвее

Кроме этого у WildList куча других проблем (смотри презу целиком в аттаче) и в итоге по мнению Маркса тесты основанные WildList (в частности VB100%) удобны для маркетинга продуктов их проходящих, но реально не отражают уровень антивирусов.

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Занятно, что Sophos не замедлил вступиться за любимый журнал Virus Bulletin и его тесты http://www.sophos.com/security/blog/2007/09/594.html:

On the other hand, Wildlist samples are verified by skilled reporters and the quality of samples is very high. With large sets used by testing companies such as AV-Test.org it is not so easy to verify that every sample in the test set is actually malicious. One could, perhaps, rely on the scanning results of anti-virus products, but the fact is that different vendors choose to detect different classes of files, especially one with borderline malware characteristics such as adware and dialers.

After all, the purpose of the Wildlist from its beginning was to provide a basic set of viruses that should be detected by every decent anti-virus product and as such it is still a valuable resource for testers. Despite some of its shortcomings, it is quite interesting that even some major anti-virus products sometimes miss samples from the Wildlist. A good way to track the detection performance of products against the Wildlist test set is to follow the results of the regular VB100 tests conducted by Virus Bulletin.

Вот такая вышла дискуссия, материалы Маркса в аттаче

2007_09_vb_2007_wildlist.zip

_____.jpg

2007_09_vb_2007_wildlist.zip

post-10-1191448258.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Мое мнение, что WildList морально устарел, коллекция слишком маленькая и не представляет репрезентативную выборку из всего многообразия существующих вредоносов. Соглсен с Марксом в части:

All other OS platforms like Unix, Linux, MacOS, Solaris as well as mobile platforms like Symbian or Windows CE are intentionally excluded

All kind of Trojan Horses (e.g. password stealers and keyloggers), backdoors, exploits as well as ad- and spyware are intentionally excluded, too

BUT this is the majority of today’s malware!

и

Tests based on the WildList are still seen as “state of the art”, but are getting more and more meaningless

They are too easy to pass, good for marketing purposes, but doesn’t say anything about the real capabilities of AV programs

Тесты на коллекции WildList сейчас показывают только на лузеров, которые не могут взять даже такую скромную коллекцию. Про проверку реального уровеня детекта речь не идет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Кажется недостатки WildList (и VB100%) уже довольно давно и полно обсуждались в этом форуме.

Тут важно, что сам Андрес с высокой трибуны об этом авторитетно заявил. В зале после его выступления шушукались. Было озвучено мнение, что вероятно он сам хочет создать и возглавить нечно лучшее, чем WildList.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я тоже считаю что WildList устарел по своей идеологии, причём давно. Но тут вопрос: А какова альтернатива?

Сейчас тестовые центры практикуют два вида тестов антивирусов (не считая специализированные, типа ретроспективнй тест Клементи, или проводимые тут тесты противодействия малваре, распаковки и т.п.), это:

1. тесты на больших коллекциях, которые невесть как собирались и чистоту которых никто гарантировать не может;

2. тесты на коллекциях типа WildList, а часто именно на этой коллекции.

Тесты на больших коллекциях кроме статистики мало о чём говорят. Тесты на WildList (в текущем видел) тоже. Так что делать ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Новое было б,способности защиты без опоры на сигнатуры.В направлении защиты от неизвестных угроз.

Защита от неизвестных угроз - это здорово, модно и все такое, но

здесь же разговор о другом. Реактивную защиту никто еще не собирается списывать со счетов и ее тоже как-то нужно проверять на эффективность.

От инструмента зависит очень многое. Можно мерить кривой линейкой, а можно штангенциркулем. Результаты могут сильно разниться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Обновляю: https://mega.nz/#!0FYBnRzT!Kh8GaRMVOzm99QJZX0NsDD51vDaFzPI-Vil02kw53rQ
    • Sergey22101979s
      Площадку надо свою делать и развивать её. А потом продавать места на ней. И не важно какую площадку - сайт, группу в соцсети, или что-то тому подобное.
    • homeobed
      На дому за копейки работать - дело нехитрое) Вот чтобы зарабатывать приличные деньги, на одних комментариях далеко не уедешь)
    • Mike
      Вышел McAfee VirusScan Enterprise 8.8.0 Patch 10  
    • Wenderoy
      Да, лучше удалить. Но это, разумеется, решает администрация... Я никакой не тролль, ANDYBOND прекрасно это понимает, просто именно с ним был разлад безо всякой причины, подробности приводить не буду, но теперь он старается как можно больше "навредить" мне. Собственно, вот отзывы про PS - https://www.mywot.com/ru/scorecard/provisionsecurity.ru Думаю, комментарии будут излишними. Есть очень много свидетелей, которых "примерная" администрация Provisionsecurity даже "поливала" нецензурной лексикой, у меня есть все скриншоты и т. д. И после всего этого надо подумать, а стоит ли верить таким людям? Это я в качестве отступления. Главное - то, что я устал здесь распинаться, тратя свое личное время, что идет только на руку уже упомянутым участниками форума. Все, что мне надо было доказать, я доказал, пользователи моего приложения знают и понимают мои цели и стремления, я ни от кого ничего не скрываю. Поэтому программу уже используют многие, а это значит, что дело поставлено на рельсы. Самое смешное, что на каждый мой аргумент, который я не поленился снабдить всей необходимой информацией в форме ссылок, скриншотов, записей, копий писем, сообщений лабораторий etc, в ответ мне летят одни и те же фразы: "мошенник", "вирусописатель", "тролль". Так кто же больше попадает под значение последнего слова? Просто упомяну еще пару вещей. Когда я объяснял, почему продукт детектит пустой файл, все равно меня никто не слышал. Каким же, интересно, образом мне следует растолковать это? Были приведены доказательства, что я часть баз собираю с ресурса VirusShare (благо, имеются очень хорошие источники самой разнообразной информации), где AVP в свое время почему-то пометил файл как Trojan... (где-то на предыдущих страницах все чрезвычайно подробно описано). Так вот, копируя MD5, в комплект попала и хеш-сумма пустого файла, вследствие чего как бы Вы его ни переименовывали, все рано будет сработка продукта (кстати, ее уже нет). Далее. Насчет "мошенник" и "вирусописатель". Если зимние переписки (не просто отчетов автоматического анализа лабораторий) с вирусным аналитиком McAfee ни о чем Вам не говорят, это, как говорится, не мои проблемы. Другие вендоры, да практически все (даже популярные Avast, Qihoo и др.) устанавливаются втихомолку вместе с другим ПО (DRP Solutions, различные дополнения для монетизации в пакеты дистрибутивов), но их Вы почему-то "вирусописателями"  не называете. И последнее. Насчет "мошенник". Я никого не принуждаю устанавливать KAR, каждый делает это добровольно. Лицензионное соглашение и Privacy Statment присутствуют на сайте, там все четко и ясно описано. На сервер высылаются исключительно анонимные отчеты, как и в любых других разработках аналогичного типа, не более того.  Kuranin Anti-Ransomware распространяется абсолютно бесплатно, никакой рекламы ни в продукте, ни даже на сайте, т. к. это мое хобби. Поэтому здесь не вижу ничего, связанного с мошенничеством. Это очень краткое обобщение, все мои подробные ночные отписки на однотипные бессмысленные сообщения можно посмотреть, листая предыдущие ни много ни мало двенадцать страниц. @VMS, радует, что еще есть адекватные люди, которые умеют слушать. Да, к сожалению, это не те времена, когда жизнь кипела в каждом уголке Anti-Malware и других подобных форумов. Обидно, что перевились разработчики-добровольцы, которые были очень активны в 2004-2014 годах. Сейчас в основном крупные компании все вытеснили, да есть те, кто просто сдался (Александр Калинин, его судьба мне не известна, но смею предположить, что он воплотил свое хобби в жизнь; Kerish, который, правда, стал чрезвычайно полезной утилитой Kerish Doctor, а ведь совсем немногие знают прошлое этого творения; ScreamAV, бесплатныq антивирус то ли из Индонезии, то ли с Филиппин; путем долгого анализа удалось выяснить, что создатели данного антивируса примкнули к проекту SmadAV;  SMK антивирус, когда-то известный в узких кругах; "Зоркий глаз" Петелина Александра;  AWS Core, приостановивший свое развитие и т. п.) Вообще обожаю древние сайты, особенно варианты на narod.ru и им подобные, пропахшие стариной и историей. Очень приятные ощущения, как будто бы открыл давно забытую, но вновь найденную на чердаке книгу с пожелтевшими от времени листами.  А еще очень много полезных ресурсов, которых уже нет, но они сохранились в "архиве". Все это "богатство" сложно отыскать, но зато там есть чрезвычайно много полезной информации... Вот, кстати, один из примеров: https://web.archive.org/web/20040905203536/http://www.winchanger.narod.ru:80/ Или https://web.archive.org/web/20070624081145/http://winchanger.whatis.ru:80/ Как бонус прилагаю собственную коллекцию малоизвестных продуктов любителей информационной безопасности, среди них, кстати, все вышеупомянутые образцы! https://mega.nz/#!tZBkkCKa!0WzfYt4A1zK4aCvVLtu3FLt7pfPIp7wWtyPIr9c-cbo Может, кому пригодится...