Перейти к содержанию
Николай Головко

Тестирование VirusInfo: первый квартал 2008

Recommended Posts

Николай Головко

Уважаемые коллеги,

по результатам трех месяцев нами подготовлен квартальный график:

1_quarter_sum_08.PNG

Описательная статья и мартовские результаты находятся по прежнему адресу:

http://virusinfo.info/index.php?page=tests

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron

Икарус здесь лучше всех (по детекту), а VB100% проиграл.

Но я знаю, как он вирусы добавляет:

87H2IJSU3B.png rWvk9sNvdg.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Николай, забавно другое, неустойчивость некая метода.

вот тут http://www.antivirus.ru/AntiVirPS803.html ребята оценивают антивирусы по схеме до боли похожей на вашу, даже число зловредов за квартал набралось примерно такое же

в принципе лидеры те же (исключая их перекос на Доктор Веб), но расстановка сил немного другая.

у вас первая десятка, если мне не изменяет косоглазие: вебвошер, авира, икарус, ф-секьюр, софос, касперский, AVG, панда, битдефендер, eSafe

у них: доктор, вебвошер, авира, касперский, ф-скьюр, икарус, софос, битдефендер, AVG, панда

я специально посчитал за квартал и отсортировал по алфавиту, чтобы было на графике как у вас. Может сложить ваши и их результаты для повышения устойчивости и поглядеть, что в сумме получается? :rolleyes:

antivirusru.PNG

post-10-1207310503_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.
1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением.

2) Образец должен быть обнаружен лично консультантом в ситуации реального лечения.

Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

а какая разница от уровня недектирования или от уровня детектирования идти? это простите сути теста не меняет совершенно, только представление результатов другое - поэтому я их результаты в ваш вид представления и перевел.

и ребята как и вы смотрят зловреды найденные у пользователей на реально зараженных тачках, где стоящий там антивирь ничего не находит.

единственное их отличие, впрочем весьма важное, что вы то зловреда вроде как AVZ находите, а эти товарищи

В течение года мы проводили отработку собственной методики тестирования антивирусов. Согласно этой методики производится отбор инфицированных объектов, с которыми мы реально столкнулись. Затем производится проверка реакции различных антивирусов на выявленные объекты. При этом очень важно, чтобы отбор подозрительных объектов производился несколькими антивирусами одновременно. Если отбор выполнять одним антивирусом, то проверка будет выполняться только на тех иннфицированных объектах, которые будут известны этому антивирусы. И у этого антивируса будет 100% при любом его качестве, другие антивирусы будут иметь возможность только повторить его результат, а превзойти - никогда. Для выявления подозрительных объектов мы используем лицензионные копии антивирусов:

Avira AntiVir PersonalEdition Premium Avira Avira GmbH Германия

Dr.Web для Windows DrWeb Компания «Доктор Веб» Россия

Антивирус Касперского KAV Лаборатория Касперского Россия

отсюда и их перекос

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко
Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

а какая разница от уровня недектирования или от уровня детектирования идти?

Я исхожу из представления, что определение продукта, пропустившего наименьшее количество образцов вредоносного программного обеспечения, и определение продукта, обнаружившего наибольшее количество образцов malware, не представляют собой одно и то же с точки зрения направленности тестов, хотя вы верно заметили, что существует определенное подобие сущности проведенных тестов.

Тем не менее, я по-прежнему не вижу заявленного подтверждения тому, что отбираемые цитируемым ресурсом образцы действительно не определяются установленным на целевой машине защитным ПО. В приведенном вами описании также не говорится об этом, а, значит, однозначный знак равенства между методиками ставить пока рано.

За комментарии, однако, спасибо, я принял их во внимание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Werasy

Тогда ещё один.Возможно,есть небольшой недостаток,искажающий результат.Если на 9 из 10 компов,с которых взято недетектируемый зловред,установлен,к примеру,Др.Касмантек,а реально,допустим,он на 3 из 10,то условие "1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением." без наличия поправки срабатывает против АВ (детект = 0),так как при проверке все остальные,кроме этого АВ,имеют шанс его задетектировать детект > 0.Если же установленные АВ на компах,с которых взяты вирусы,более-менее соответствуют реальному соотношению,то вполне можно оценить уровень защищённости уже с учётом фактора,что на распространённый АВ больше и вирусов больше затачивают.Статистику вели о соответствии вашего круга компов с реальным?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n

Смотрим/обсуждаем результаты тестирования на VirusInfo: Апрельский график исследования антивирусов VirusInfo

april.PNG

Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

post-4227-1210939002_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Antal
Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

И у НОД 32 дела идут смотрю не лучшим образом !!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
И у НОД 32 дела идут смотрю не лучшим образом !!!

и у доктор веба с симантеком все как нехорошо...нынче свосем другие лидеры :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я вообще внятно что-то по этому тесту никогда не мог сказать. Николай Головко в свое время меня грамотно заткнул. Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Попробую помочь придумать ответ:

Тестирование антивирусов VirusInfo проводится с использованием бесплатного онлайн-мультисканера VirusTotal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Не думаю, что это жуть какой недостаток. Движки тех АВ прекрасно работают сигнатурно и эмуляторами. Поведенческих блокираторов, конечно, нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Не думаю, что это жуть какой недостаток

Так-то оно так, но после такого "теста" и появляются вопросы аналогичные вопросу С. Ильина:

существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому

и меня рейтинг Касперского удивил, хотя я скорее противник пользования его продуктов, чем сторонник.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rubin-VInfo

Ну касательно Касперского в некой степени можно объяснить... по большей частью у хелперов стоят именно КИС\КАВ, и если антивирус уже ругнется на полученный файл, то скорее всего он на ВирусТотал и не уйдет, т.к. практическая цель достигнута - мы установили вредоносность файла.

Если же файл подозрителен и не сдетектился... то уже идет на ВирусТотал. Именно поэтому в 99% лично моих сканов Касперский не детектит угрозу... может и у других хелперов так же ;)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron
Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Движок один и тот же. Скорее всего, на вирустотале их по-разному настроили.

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Тогда ... было бы интересно посмотреть, какое количство семплов было прислано при пропуске каждого антивируса.

Жаль эти данные не собираются.

А потом, как нибудь интегрировать результаты - хотя это уже для любителей всякого рода аналитики.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike

в защиту касперского:

например этот дроппер на вирустотале касперский не видит:

Datei crack.exe empfangen 2008.05.23 06:43:03 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Dropper.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 -

BitDefender 7.2 2008.05.23 -

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 suspicious Trojan/Worm

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Virus.IM.Worm.Win32.VB.hi

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 -

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 Suspicious file

Prevx1 V2 2008.05.23 Malicious Software

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 -

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Dropper.Gen

а заодно не видит и Rustock, который он грузит:

Datei sywtdxaz.sys empfangen 2008.05.23 06:45:09 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Rootkit.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 Downloader.Scagent.P

BitDefender 7.2 2008.05.23 Backdoor.Rustock.NDI

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 -

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Backdoor.Rustock.NDI

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 Backdoor:Win32/Rustock.gen!B

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 -

Prevx1 V2 2008.05.23 Malware Downloader

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 Mal/Generic-A

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Rootkit.Gen

в действительности, на машине с касперском, дроппер будет заблокирован.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron

Вирустотал необъективный, мне кажется. Для тестов надо брать виртуальную машину и самому всё проверять. Пусть это будет дольше, но качественнее. Данные вирустотала закрытые - я не знаю, какие там конкретно настройки у каждого антивируса, как они там обновляются. А даже если бы они вывесили эти настройки — с какой стати мне им верить?

Только на сигнатурный детект я бы не стал надеяться. У антивирусов сейчас куча других технологий. Каспер может спокойно заблокировать червя, которого нет в сигнатурах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

АМ не использует VT в тестах. :) А данный "тест" VInfo чисто ознакомительный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001

Дополнение к сказанному вами выше: не стоит забывать, что некоторые malware с троянской сущностью детектятся антивирусами только в активной системе, в которой они развили свою "деятельность" и создали свою "криминальную" сеть. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

нет.

на ВТ каждый вендор сам решает какие именно настройки его продукта должны быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Curtismab
      Неотразимые мягкие места в уборной выставляют дивчины https://devkis.net на развратных фотках
    • Dmitrius
      БигПикча новости в фотографиях Бигпикча – это уникальный портал, который предлагает ознакомиться с самыми интересными и увлекательными новостями. Они понравятся каждому, кто всегда желает держать руку на пульсе и быть в курсе последних новостей, событий в мире. Этот портал уникален тем, что все материалы сопровождаются красочной фотографией для наглядности. Сайт приковывает к себе внимание с самых первых минут. Его хочется постоянно рассматривать, наслаждаться интересной подачей материала. Над его созданием трудились лучшие авторы, настоящие эксперты в своем деле, которые преподносят информацию таким образом, чтобы она понравилась людям любого возраста и независимо от социального положения. На bigpicture.ru только интересные, яркие новости на самые злободневные темы, а потому вы обязательно найдете что-то стоящее для себя. Есть любопытные статьи про животных, людей, еду, оригинальные вещи. Имеются факты, а также топы, которые интересно пересматривать вновь. Администрация сайта регулярно выкладывает статьи, которые помогут взглянуть на привычные вещи под другим углом. Если и вы хотите развлечься после трудового дня или в выходной, то скорей заходите на этот сайт, который знает, что вам предложить, чтобы разнообразить досуг и сделать его ярким, насыщенным. Авторы умеют удивлять, поэтому при составлении контента учитываются интересы всех читателей. Рассматриваются факты, о которых раньше вы даже не догадывались. Они прольют свет на многие вопросы. Новости в фотографиях, увлекательные путешествия, истории, лонгриды и многое другое представлено на этом сайте. Добавляйте его в закладки, чтобы не потерять, ведь этот портал является пищей для мозга, возможностью расширить свое сознание и повысить уровень интеллекта. Ищите любимый сайт в социальных сетях.
    • Curtismab
      Офигенные соски в усадьбе показывают глупышки https://devkis.net на эро фотокарточках
    • Dmitrius
      Арбитражный управляющий Каждый может оказаться в такой ситуации, когда требуется профессиональная и своевременная поддержка юриста. Если и вы вынуждены стать банкротом и оформить это по закону, то необходимо обратиться за такой услугой в центр банкротства. В компании работают квалифицированные специалисты с большим опытом, а в их багаже большое количество успешно завершенных дел. Именно поэтому вы сможете надеяться на отличный результат. Важно учесть тот момент, что специалисты детально изучают вопрос для того, чтобы подробно рассмотреть вопрос, после чего выявить возможности благоприятного результата. Списать долги Волгоград (Списание кредитов) получится по закону. Нет необходимости в том, чтобы переживать за процесс. Так специалисту удастся списать те долги, которые вы не в силах выплатить. Увы, но этот процесс может занять несколько месяцев, к тому же он не бесплатный. Банкротство физических лиц в Волгограде ведет компетентный сотрудник – он добросовестно и ответственно подойдет к решению вопроса. Он будет защищать интересы клиента, руководствуясь Конституцией. Юрист по банкротству займется оформлением документов и заявления, подготовит все факты в пользу того, чтобы объявить вас неплатежеспособным. Опыт сотрудников позволяет браться за дела различной сложности. Арбитражный управляющий Волгоград поможет вам избавиться от долгов. Что касается расценок, то на них влияют самые разные факторы, включая расходы на законодательном уровне. Подписывается договор на указание услуг – в нем указываются обязанности каждой стороны, набор услуг. Юрист рассмотрит все аспекты вашего дела. Важным моментом является то, что все ваши долги будут списаны в полном объеме при положительном исходе дела. Специалист использует все ресурсы, которые потребуются для того, чтобы получить положительный результат.
    • Dmitrius
      Септик в Москве и Московской области Компания долгое время и на выгодных условиях оказывает услуги, связанные со строительством автономной канализации в Москве и области. Если Вам необходима выгребная яма – ознакомьтесь с интересующей информацией на официальном портале. Автономная канализация, организованная на дачном участке, положительно влияет на уровень комфорта. Несмотря на то, планируется ли круглый год проживать на участке или только летом, вы почувствуете удобство. Цену на ее установку вы сможете узнать на сайте. Компания длительное время работает в данной сфере, а потому предлагает только выгодные условия, доступные цены, а сами работы выполняются быстро, аккуратно и в наиболее комфортное время. Она наладила сотрудничество с проверенными и надежными поставщиками оборудования. Специалисты создадут высокотехнологичную и работающую систему под ключ. В работе используются только надежные, качественные материалы, выполняются технологические условия. Если говорить о ценах, то они остаются на среднем уровне, а потому воспользоваться услугой смогут все, кто хочет. Кольцевой накопитель отлично подходит для сбора сточных вод при условии, что в доме на постоянной основе проживают до 7 человек. Все работы будут выполнены в минимальные сроки и тогда, когда это удобно именно вам. С собой будут все необходимые инструменты, а также материалы. Сотрудники осуществят установку и выполнят все нужные работы. При появлении вопросов задайте их сотрудникам, которые все пояснят, а также определят общую стоимость работ. Специалисты выполнят все необходимые работы, несмотря на время года. Отсутствуют дополнительные наценки, переплаты, только прозрачные условия сотрудничества.
×