Перейти к содержанию
Николай Головко

Тестирование VirusInfo: первый квартал 2008

Recommended Posts

Николай Головко

Уважаемые коллеги,

по результатам трех месяцев нами подготовлен квартальный график:

1_quarter_sum_08.PNG

Описательная статья и мартовские результаты находятся по прежнему адресу:

http://virusinfo.info/index.php?page=tests

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron

Икарус здесь лучше всех (по детекту), а VB100% проиграл.

Но я знаю, как он вирусы добавляет:

87H2IJSU3B.png rWvk9sNvdg.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Николай, забавно другое, неустойчивость некая метода.

вот тут http://www.antivirus.ru/AntiVirPS803.html ребята оценивают антивирусы по схеме до боли похожей на вашу, даже число зловредов за квартал набралось примерно такое же

в принципе лидеры те же (исключая их перекос на Доктор Веб), но расстановка сил немного другая.

у вас первая десятка, если мне не изменяет косоглазие: вебвошер, авира, икарус, ф-секьюр, софос, касперский, AVG, панда, битдефендер, eSafe

у них: доктор, вебвошер, авира, касперский, ф-скьюр, икарус, софос, битдефендер, AVG, панда

я специально посчитал за квартал и отсортировал по алфавиту, чтобы было на графике как у вас. Может сложить ваши и их результаты для повышения устойчивости и поглядеть, что в сумме получается? :rolleyes:

antivirusru.PNG

post-10-1207310503_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.
1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением.

2) Образец должен быть обнаружен лично консультантом в ситуации реального лечения.

Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

а какая разница от уровня недектирования или от уровня детектирования идти? это простите сути теста не меняет совершенно, только представление результатов другое - поэтому я их результаты в ваш вид представления и перевел.

и ребята как и вы смотрят зловреды найденные у пользователей на реально зараженных тачках, где стоящий там антивирь ничего не находит.

единственное их отличие, впрочем весьма важное, что вы то зловреда вроде как AVZ находите, а эти товарищи

В течение года мы проводили отработку собственной методики тестирования антивирусов. Согласно этой методики производится отбор инфицированных объектов, с которыми мы реально столкнулись. Затем производится проверка реакции различных антивирусов на выявленные объекты. При этом очень важно, чтобы отбор подозрительных объектов производился несколькими антивирусами одновременно. Если отбор выполнять одним антивирусом, то проверка будет выполняться только на тех иннфицированных объектах, которые будут известны этому антивирусы. И у этого антивируса будет 100% при любом его качестве, другие антивирусы будут иметь возможность только повторить его результат, а превзойти - никогда. Для выявления подозрительных объектов мы используем лицензионные копии антивирусов:

Avira AntiVir PersonalEdition Premium Avira Avira GmbH Германия

Dr.Web для Windows DrWeb Компания «Доктор Веб» Россия

Антивирус Касперского KAV Лаборатория Касперского Россия

отсюда и их перекос

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко
Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

а какая разница от уровня недектирования или от уровня детектирования идти?

Я исхожу из представления, что определение продукта, пропустившего наименьшее количество образцов вредоносного программного обеспечения, и определение продукта, обнаружившего наибольшее количество образцов malware, не представляют собой одно и то же с точки зрения направленности тестов, хотя вы верно заметили, что существует определенное подобие сущности проведенных тестов.

Тем не менее, я по-прежнему не вижу заявленного подтверждения тому, что отбираемые цитируемым ресурсом образцы действительно не определяются установленным на целевой машине защитным ПО. В приведенном вами описании также не говорится об этом, а, значит, однозначный знак равенства между методиками ставить пока рано.

За комментарии, однако, спасибо, я принял их во внимание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Werasy

Тогда ещё один.Возможно,есть небольшой недостаток,искажающий результат.Если на 9 из 10 компов,с которых взято недетектируемый зловред,установлен,к примеру,Др.Касмантек,а реально,допустим,он на 3 из 10,то условие "1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением." без наличия поправки срабатывает против АВ (детект = 0),так как при проверке все остальные,кроме этого АВ,имеют шанс его задетектировать детект > 0.Если же установленные АВ на компах,с которых взяты вирусы,более-менее соответствуют реальному соотношению,то вполне можно оценить уровень защищённости уже с учётом фактора,что на распространённый АВ больше и вирусов больше затачивают.Статистику вели о соответствии вашего круга компов с реальным?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n

Смотрим/обсуждаем результаты тестирования на VirusInfo: Апрельский график исследования антивирусов VirusInfo

april.PNG

Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

post-4227-1210939002_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Antal
Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

И у НОД 32 дела идут смотрю не лучшим образом !!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
И у НОД 32 дела идут смотрю не лучшим образом !!!

и у доктор веба с симантеком все как нехорошо...нынче свосем другие лидеры :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я вообще внятно что-то по этому тесту никогда не мог сказать. Николай Головко в свое время меня грамотно заткнул. Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Попробую помочь придумать ответ:

Тестирование антивирусов VirusInfo проводится с использованием бесплатного онлайн-мультисканера VirusTotal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Не думаю, что это жуть какой недостаток. Движки тех АВ прекрасно работают сигнатурно и эмуляторами. Поведенческих блокираторов, конечно, нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Не думаю, что это жуть какой недостаток

Так-то оно так, но после такого "теста" и появляются вопросы аналогичные вопросу С. Ильина:

существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому

и меня рейтинг Касперского удивил, хотя я скорее противник пользования его продуктов, чем сторонник.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rubin-VInfo

Ну касательно Касперского в некой степени можно объяснить... по большей частью у хелперов стоят именно КИС\КАВ, и если антивирус уже ругнется на полученный файл, то скорее всего он на ВирусТотал и не уйдет, т.к. практическая цель достигнута - мы установили вредоносность файла.

Если же файл подозрителен и не сдетектился... то уже идет на ВирусТотал. Именно поэтому в 99% лично моих сканов Касперский не детектит угрозу... может и у других хелперов так же ;)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron
Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Движок один и тот же. Скорее всего, на вирустотале их по-разному настроили.

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Тогда ... было бы интересно посмотреть, какое количство семплов было прислано при пропуске каждого антивируса.

Жаль эти данные не собираются.

А потом, как нибудь интегрировать результаты - хотя это уже для любителей всякого рода аналитики.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike

в защиту касперского:

например этот дроппер на вирустотале касперский не видит:

Datei crack.exe empfangen 2008.05.23 06:43:03 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Dropper.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 -

BitDefender 7.2 2008.05.23 -

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 suspicious Trojan/Worm

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Virus.IM.Worm.Win32.VB.hi

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 -

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 Suspicious file

Prevx1 V2 2008.05.23 Malicious Software

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 -

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Dropper.Gen

а заодно не видит и Rustock, который он грузит:

Datei sywtdxaz.sys empfangen 2008.05.23 06:45:09 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Rootkit.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 Downloader.Scagent.P

BitDefender 7.2 2008.05.23 Backdoor.Rustock.NDI

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 -

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Backdoor.Rustock.NDI

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 Backdoor:Win32/Rustock.gen!B

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 -

Prevx1 V2 2008.05.23 Malware Downloader

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 Mal/Generic-A

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Rootkit.Gen

в действительности, на машине с касперском, дроппер будет заблокирован.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron

Вирустотал необъективный, мне кажется. Для тестов надо брать виртуальную машину и самому всё проверять. Пусть это будет дольше, но качественнее. Данные вирустотала закрытые - я не знаю, какие там конкретно настройки у каждого антивируса, как они там обновляются. А даже если бы они вывесили эти настройки — с какой стати мне им верить?

Только на сигнатурный детект я бы не стал надеяться. У антивирусов сейчас куча других технологий. Каспер может спокойно заблокировать червя, которого нет в сигнатурах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

АМ не использует VT в тестах. :) А данный "тест" VInfo чисто ознакомительный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001

Дополнение к сказанному вами выше: не стоит забывать, что некоторые malware с троянской сущностью детектятся антивирусами только в активной системе, в которой они развили свою "деятельность" и создали свою "криминальную" сеть. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

нет.

на ВТ каждый вендор сам решает какие именно настройки его продукта должны быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×