Николай Головко

Тестирование VirusInfo: первый квартал 2008

В этой теме 26 сообщений

Уважаемые коллеги,

по результатам трех месяцев нами подготовлен квартальный график:

1_quarter_sum_08.PNG

Описательная статья и мартовские результаты находятся по прежнему адресу:

http://virusinfo.info/index.php?page=tests

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Икарус здесь лучше всех (по детекту), а VB100% проиграл.

Но я знаю, как он вирусы добавляет:

87H2IJSU3B.png rWvk9sNvdg.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Николай, забавно другое, неустойчивость некая метода.

вот тут http://www.antivirus.ru/AntiVirPS803.html ребята оценивают антивирусы по схеме до боли похожей на вашу, даже число зловредов за квартал набралось примерно такое же

в принципе лидеры те же (исключая их перекос на Доктор Веб), но расстановка сил немного другая.

у вас первая десятка, если мне не изменяет косоглазие: вебвошер, авира, икарус, ф-секьюр, софос, касперский, AVG, панда, битдефендер, eSafe

у них: доктор, вебвошер, авира, касперский, ф-скьюр, икарус, софос, битдефендер, AVG, панда

я специально посчитал за квартал и отсортировал по алфавиту, чтобы было на графике как у вас. Может сложить ваши и их результаты для повышения устойчивости и поглядеть, что в сумме получается? :rolleyes:

antivirusru.PNG

post-10-1207310503_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.
1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением.

2) Образец должен быть обнаружен лично консультантом в ситуации реального лечения.

Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

а какая разница от уровня недектирования или от уровня детектирования идти? это простите сути теста не меняет совершенно, только представление результатов другое - поэтому я их результаты в ваш вид представления и перевел.

и ребята как и вы смотрят зловреды найденные у пользователей на реально зараженных тачках, где стоящий там антивирь ничего не находит.

единственное их отличие, впрочем весьма важное, что вы то зловреда вроде как AVZ находите, а эти товарищи

В течение года мы проводили отработку собственной методики тестирования антивирусов. Согласно этой методики производится отбор инфицированных объектов, с которыми мы реально столкнулись. Затем производится проверка реакции различных антивирусов на выявленные объекты. При этом очень важно, чтобы отбор подозрительных объектов производился несколькими антивирусами одновременно. Если отбор выполнять одним антивирусом, то проверка будет выполняться только на тех иннфицированных объектах, которые будут известны этому антивирусы. И у этого антивируса будет 100% при любом его качестве, другие антивирусы будут иметь возможность только повторить его результат, а превзойти - никогда. Для выявления подозрительных объектов мы используем лицензионные копии антивирусов:

Avira AntiVir PersonalEdition Premium Avira Avira GmbH Германия

Dr.Web для Windows DrWeb Компания «Доктор Веб» Россия

Антивирус Касперского KAV Лаборатория Касперского Россия

отсюда и их перекос

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

а какая разница от уровня недектирования или от уровня детектирования идти?

Я исхожу из представления, что определение продукта, пропустившего наименьшее количество образцов вредоносного программного обеспечения, и определение продукта, обнаружившего наибольшее количество образцов malware, не представляют собой одно и то же с точки зрения направленности тестов, хотя вы верно заметили, что существует определенное подобие сущности проведенных тестов.

Тем не менее, я по-прежнему не вижу заявленного подтверждения тому, что отбираемые цитируемым ресурсом образцы действительно не определяются установленным на целевой машине защитным ПО. В приведенном вами описании также не говорится об этом, а, значит, однозначный знак равенства между методиками ставить пока рано.

За комментарии, однако, спасибо, я принял их во внимание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тогда ещё один.Возможно,есть небольшой недостаток,искажающий результат.Если на 9 из 10 компов,с которых взято недетектируемый зловред,установлен,к примеру,Др.Касмантек,а реально,допустим,он на 3 из 10,то условие "1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением." без наличия поправки срабатывает против АВ (детект = 0),так как при проверке все остальные,кроме этого АВ,имеют шанс его задетектировать детект > 0.Если же установленные АВ на компах,с которых взяты вирусы,более-менее соответствуют реальному соотношению,то вполне можно оценить уровень защищённости уже с учётом фактора,что на распространённый АВ больше и вирусов больше затачивают.Статистику вели о соответствии вашего круга компов с реальным?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Смотрим/обсуждаем результаты тестирования на VirusInfo: Апрельский график исследования антивирусов VirusInfo

april.PNG

Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

post-4227-1210939002_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

И у НОД 32 дела идут смотрю не лучшим образом !!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
И у НОД 32 дела идут смотрю не лучшим образом !!!

и у доктор веба с симантеком все как нехорошо...нынче свосем другие лидеры :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я вообще внятно что-то по этому тесту никогда не мог сказать. Николай Головко в свое время меня грамотно заткнул. Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Попробую помочь придумать ответ:

Тестирование антивирусов VirusInfo проводится с использованием бесплатного онлайн-мультисканера VirusTotal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Не думаю, что это жуть какой недостаток. Движки тех АВ прекрасно работают сигнатурно и эмуляторами. Поведенческих блокираторов, конечно, нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Не думаю, что это жуть какой недостаток

Так-то оно так, но после такого "теста" и появляются вопросы аналогичные вопросу С. Ильина:

существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому

и меня рейтинг Касперского удивил, хотя я скорее противник пользования его продуктов, чем сторонник.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну касательно Касперского в некой степени можно объяснить... по большей частью у хелперов стоят именно КИС\КАВ, и если антивирус уже ругнется на полученный файл, то скорее всего он на ВирусТотал и не уйдет, т.к. практическая цель достигнута - мы установили вредоносность файла.

Если же файл подозрителен и не сдетектился... то уже идет на ВирусТотал. Именно поэтому в 99% лично моих сканов Касперский не детектит угрозу... может и у других хелперов так же ;)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Движок один и тот же. Скорее всего, на вирустотале их по-разному настроили.

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тогда ... было бы интересно посмотреть, какое количство семплов было прислано при пропуске каждого антивируса.

Жаль эти данные не собираются.

А потом, как нибудь интегрировать результаты - хотя это уже для любителей всякого рода аналитики.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

в защиту касперского:

например этот дроппер на вирустотале касперский не видит:

Datei crack.exe empfangen 2008.05.23 06:43:03 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Dropper.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 -

BitDefender 7.2 2008.05.23 -

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 suspicious Trojan/Worm

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Virus.IM.Worm.Win32.VB.hi

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 -

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 Suspicious file

Prevx1 V2 2008.05.23 Malicious Software

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 -

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Dropper.Gen

а заодно не видит и Rustock, который он грузит:

Datei sywtdxaz.sys empfangen 2008.05.23 06:45:09 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Rootkit.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 Downloader.Scagent.P

BitDefender 7.2 2008.05.23 Backdoor.Rustock.NDI

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 -

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Backdoor.Rustock.NDI

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 Backdoor:Win32/Rustock.gen!B

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 -

Prevx1 V2 2008.05.23 Malware Downloader

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 Mal/Generic-A

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Rootkit.Gen

в действительности, на машине с касперском, дроппер будет заблокирован.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вирустотал необъективный, мне кажется. Для тестов надо брать виртуальную машину и самому всё проверять. Пусть это будет дольше, но качественнее. Данные вирустотала закрытые - я не знаю, какие там конкретно настройки у каждого антивируса, как они там обновляются. А даже если бы они вывесили эти настройки — с какой стати мне им верить?

Только на сигнатурный детект я бы не стал надеяться. У антивирусов сейчас куча других технологий. Каспер может спокойно заблокировать червя, которого нет в сигнатурах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

АМ не использует VT в тестах. :) А данный "тест" VInfo чисто ознакомительный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Дополнение к сказанному вами выше: не стоит забывать, что некоторые malware с троянской сущностью детектятся антивирусами только в активной системе, в которой они развили свою "деятельность" и создали свою "криминальную" сеть. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

нет.

на ВТ каждый вендор сам решает какие именно настройки его продукта должны быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Ego Dekker
      Декабрь 2019 — дата окончания жизненного цикла ESET NOD32/ESET Smart Security 9.0.
    • demkd
      драйверу не нужно заниматься такой ерундой как сплайсинг, просто запись в реестре не была скрыта, не доделали руткит.
    • Ольга_diplombest
      Высшее образование — сегодня это головная боль. Хотя каждый молодой человек стремиться его получить, как залог хорошей работы и высокой зарплаты в будущем. Но ВУЗы уже перестали быть бесплатными, поэтому получить образование можно только за деньги. Поэтому все чаще портрет современного студента — это работающий человек, который совмещает работу с учебой и еще имеющий семью. К тому же ссесия, написание рефератов. Курсовых работ или защита диплома — это настоящее испытание требующее много времени и сил.Необходимо время на поиск материала диплома,  написание работы, а еще семья и работа —и вот времени не хватает. При этом все успеть, порой физически бывает не возможно. И вот студент думает выхода нет и заваливает ссесию, бросает ВУЗ. Но выход есть, воспользоваться профессиональными преподавателями, аспирантами, докторами наук ... ка сделали уже многие студенты — https://diplombest.ru/сайт для тех, кто ценит время и бережет нервы. Компания работает без предоплаты, что гарантирует получение качественной работы в срок и без рисков для студента, политика скидок позволяет экономить до 50% от стоймости работы, что заслуживает доверия со стороны студентаТогда получение высшего образования будет в радость и через 5 лет ты уже заслуженный специалист.
    • Ольга_diplombest
      Я да не плохие деньги. Я то пользовалась https://diplombest.ru/. роде не плохо
    • santy
      demkd, за счет чего uVS здесь обнаружил руткитный драйвер, загружающий в систему майнер? https://www.virustotal.com/#/file/f5d95d2e62eba634fe2c2393b1da26aaad9ea0f4dade0fc40a113919411e9963/detection в этой теме https://forum.drweb.com/index.php?showtopic=329197 антисплайсинг? или просто драйвер не прикрыл свою запись в реестре, хотя и защитил себя частично от обнаружения?