Перейти к содержанию
Сергей Ильин

Результаты теста проактивной антивирусной защиты

Recommended Posts

Сергей Ильин

Уважаемые коллеги!

Предлагаю вашему вниманию результаты теста проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Этот тест оказался самым длительным по времени и самым трудозатратным, из тех, что я делал ранее. Почему так, получилось, я уверен, вы поймете ознакомившись с результами теста.

http://www.anti-malware.ru/node/150

Убедительная просьба внимательно ознакомить с методологией тестирования

http://www.anti-malware.ru/node/148

Краткие результаты теста:

Gold Proactive Protection Award

proactive_gold_sm.gif

Avira AntiVir Personal Edition Premium 7.0 (71%)

BitDefender Antivirus 2008 (65%)

Silver Proactive Protection Award

proactive_silver_sm.gif

Eset Nod32 Anti-Virus 3.0 (59%)

Dr.Web 4.44 (57%)

Sophos Anti-Virus 7.0 (56%)

Avast! Professional Edition 4.7 (52%)

VBA32 Antivirus 3.12 (48%)

Kaspersky Anti-Virus 7.0 (45%)

McAfee VirusScan Plus 2008 (43%)

Bronze Proactive Protection Award

proactive_bronze_sm.gif

Symantec Anti-Virus 2008 (38%)

AVG Anti-Virus Professional Edition 7.5 (37%)

F-Secure Anti-Virus 2008 (36%)

Trend Micro Antivirus plus Antispyware 2008 (30%)

Тест провален

Agnitum Outpost Security Suite 2008 (12%)

p1.gif

Абсолютным лидером по эффективности эвристического компонента защиты является Avira AntiVir Personal Edition Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 71%.

Также очень эффективной оказалась эвристика в BitDefender Antivirus, который обнаружил 65% неизвестных вредоносных программ. Оба продукта, согласно используемой схеме награждения, получили награду Gold Proactive Protection Award.

***************************************************

Ну и на сладкое в виде бонуса вот такие результаты получились, если обновить базы и прогнать по коллекции свежачка все тестируемые антивирусы

Качество обнаружения новых вирусов, вклад различных компонет

p4.gif

Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

p3.gif

grafik1.gif

В итоге лучшими по обнаружение новых вредоносных программ оказались F-Secure Anti-Virus (98%), Kaspersky Anti-Virus (93%), BitDefender Antivirus (86%) и AVG Anti-Virus (86%).

***************************************************

Жду ваших комментариев :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Agnitum OSS не оправдал надежд =)

А в целом ощущения как после теста Клементи: общий уровень проактивного детекта явно увеличился. Либо сэмплы стали стандартнее и проще, либо технологии стали умнее. Радует =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну что сказать..вроде бы по сути тот же ретроспективный тест, что и клементи...а добавлены очень правильные вещи

во-первых, правильно что сделали отступ в две недели между заморозкой антивирусных баз и началом сбора вредоносных программ.

во-вторых, добавка результатов сканирования с уже обновленными базами просто офигительно добавила очков тесту, от разукрашеной картинки я просто писал кипятком. Глядя на диаграмму по общему уровню обнаружения сразу становится понятно, что проактив важен, но тот кто забывает о работе вирлаба над сигнатурным детектом -по общему итогу проигрывает.

кстати эти идеи я видел в презентации Andrew Lee из Есета http://www.slideshare.net/frisksoftware/te...ctions/download, которую он на International Antivirus Testing Workshop прочел. Молодец Сергей Ильин грамотно воплотил в жизнь.

В минус же тесту

- то, что не проверялись фолсы.

- при ретроспективном тесте проверяется качество не чистого эаристика, а проверяется сочетание эвристик+дженерики. Про это я не увидел где сказано. Чистым эвристиком тот же Симантек взял бы еще меньше небось.

-у Клементи сказаны простым языком очень правильные слова для простых пользователей на тему того почему важно ловить вирье проактивно с одной стороны и но с другой стороны, что этот тест показывает эффективность только лишь одного компонента антивируса и по его результатм нельзя судить об общем качестве антивируса. Я думаю многим простым юзерам для лучшего понимания результатов будет не хватать этих слов в вашем тексте. Надеюсь пресрелиз по тесту будет написан чуть менее "продвинутым" языком.

Что касается самих результатов, то я в принципе не удивлен. Разве что то, что Трендмайкро и Agnitum (Вирусбастер) практически ничего не добавили в базы сигнатур за такой длинный период вызвало у меня неприятный осадок по поводу их вирлабов и скорости добавления.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

в отчете, во второй таблице, со статистикой по количеству самплов ошибка, имхо. вместо "Кол-во обнаруженных вирусов" наверное надо "Кол-во НЕ обнаруженных вирусов"...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Agnitum OSS не оправдал надежд =)

зато получил VB100% :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter

Чот меня напрягло.

Сравнение с клименти, наверное...

Или аваст посерединке...

Посмотрю на неделе...

P.S. Радует, что A. со своими гадостями и точностями появился. :)

P.P.S. Иван, с тыща первым постом...(заметил, блин)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Таблица ложных срабатываний была бы действительно к месту.

В целом тест добротный и интересный. Спасибо за проделанную работу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
P.P.S. Иван, с тыща первым постом...(заметил, блин)

черт, а я и не просек сразу

пасиба Dexter

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В минус же тесту

- то, что не проверялись фолсы.

- при ретроспективном тесте проверяется качество не чистого эаристика, а проверяется сочетание эвристик+дженерики. Про это я не увидел где сказано. Чистым эвристиком тот же Симантек взял бы еще меньше небось.

-у Клементи сказаны простым языком очень правильные слова для простых пользователей на тему того почему важно ловить вирье проактивно с одной стороны и но с другой стороны, что этот тест показывает эффективность только лишь одного компонента антивируса и по его результатм нельзя судить об общем качестве антивируса. Я думаю многим простым юзерам для лучшего понимания результатов будет не хватать этих слов в вашем тексте. Надеюсь пресрелиз по тесту будет написан чуть менее "продвинутым" языком.

Проверять ложные срабатывания - это отдельный большой тест и он совсем не простой, как может показаться на первый взгляд. Я писал ранее, что мешать все в кучу не хочу, в начале следующего года сделаем полноценный тест на ложняки, тогда можно будет сопоставить результаты.

По совету коллег здесь не стал заострять внимание на составных частях детекта, так как все понимают под той или иной технологией свое.

Текст для простых пользователей добавляю, это я упустил из виду.

в отчете, во второй таблице, со статистикой по количеству самплов ошибка, имхо. вместо "Кол-во обнаруженных вирусов" наверное надо "Кол-во НЕ обнаруженных вирусов"...

Да, это ошибка, сейчас поправлю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Сергей Ильин, поздравляю с окончанием этой сложной работы.

Тест получился очень качественный.

Результаты вполне можно использовать в работе.

Можно использовать для обучения начинающих пользователей, которые кроме VB ничего не видят. Можно в очередной раз показать, что антивирус - это сложное по устройству ПО, и что можно лишь стремиться объективно ранжировать антивирусные продукты по выбранному для тестирования параметру.

Думаю, этот тест сильно приблизил нас к объективности.

Но, думаю, Вы на этом не остановитесь, поэтому желаю удачи в проведении будущих тестирований.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Валерий, спасибо за поздравления и положительную оценку проделанной работы. На этом тесте была сделана попытка выйти на качественно новый уровень работы, надеюсь это получилось.

Предвкушая вопросы по Trend Micro: после обновления он взял всего +9 самплов к тому, что было найдено ранее, что составило менее 1% от размера общей коллекции.

proactive_trendmicro.jpg

post-4-1197194270.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

При всём моём уважении к вашему труду...

Вы пытаетесь оценить потенциальные возможности различных продуктов или как они реально защищают пользователей?

Если первое - то всё ОК, нарицаний нет.

А если второе, то надо тестировать антивирусы на настройках по умолчанию.

Выкручивание всех эвристик на максимум может привести не только к катастрофичному замедлению работы как антивируса, так и компьютера, но и к появлению огромного числа фолсов.

Именно поэтому антивирусные компании рекомендуют определённые настройки пользователю. И поэтому 99% пользователей придерживаются этим настройкам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

В первую очередь проверялись потенциальные возможности продуктов, в частности эвристического компонента. Но академическим этот тест назвать нельзя, так как максимальные настройки часто используются при сканировании по требованию, а в настройках антивирусных мониторов чаще всего эвристика или отключена (тот же Касперский или Нод) или стоит на минимуме, фактически не используется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

Сергей - отличная работа. Добротно сработано. Качество тестов раз от разу растет. Поздравляю вас и коллектив - респект!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Вот и интересно, сколько процентов вирья продетектируют мониторы того же касперского и нода с настройками по умолчанию. А потом сканеры.

У вас же, наверняка, остались образы VmWare. Может дополните тест? Будет очень интересно.

И конечным пользователям показательней.

И вендорам продемонстрировать, насколько эффективны дефолтные настройки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Black Angel

Согласен с dan. Такая информация будет интересна. Посмотреть результаты по дефолту и с максимальными настройками.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Просто сначала говорите много слов (в основном вполне обоснованных) про то как другие делают синтетические тесты, про то, что надо симулировать работу пользователя. А сами потом проводите тестирование, которое непонятно что и кому показывает.

На самом деле, конечно, тест вы сделали отличный, за что вам низкий поклон ;) . Но его достаточно легко было доделать до теста, который можно было бы принять за стандарт в тестировании антивирусов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

не могу не согласиться, тем более что:

Advanced Heuristics extend the standard heuristic capabilities of ESET Smart Security and allows detection of a high number of new threats, etc. The advanced heuristics are disabled by default in the real-time components of ESET Smart Security. We recommend that you use Advanced Heuristics carefully when setting preferences for an on-demand scan, as it can slow the scanning time dramatically and occasionally produce a ‘False Positive’. For this reason, Advanced Heuristics are not enabled by default.

Так что было бы интересно поглядеть на уровень эвристики нода32 по умолчанию.

Добавлено спустя 26 минут 57 секунд:

но с другой стороны нельзя сказать что тест ничего не показывает.

он показывает что можно выжать из антивиря при проверке файла по требованию. Что собственно я часто делаю с файлами, которые скачиваю или по получаю по почте из мест не внушающих мне доверия.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
На самом деле, конечно, тест вы сделали отличный, за что вам низкий поклон Wink . Но его достаточно легко было доделать до теста, который можно было бы принять за стандарт в тестировании антивирусов.

Спасибо, за комментарий. Заменять детект, конечно, можно в два захода: со стандартными настройками и с максимальными, это не проблема и увеличит трудозатраты не слишком. В следующий раз обязательно сделаю в два прогона.

Единственным минусом тут может быть, возможно, усложнение результатов в целом, особенно если с разными настройками будут разные лидеры :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Сергей а до вас дошли мои сообщения отправленны около 23.00 в личку по поводу тренда?

что-то они у меня висят в исходящих и в отправленные не попадают.

я продублировал на почту (anti-malware.ru)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей а до вас дошли мои сообщения отправленны около 23.00 в личку по поводу тренда?

Дошли, отписался уже по ним. Trend Micro не повезло из-за редкого выхода обновлений. Сегодня они уже берут гораздо больше (около 60%), но к сожалению, условия для все одинаковые.

Возможно и VirusBuster будет через недельки 3-4 будет показывать детект под 80% так ...

P.S. Я уезжаю на пару недель, поэтому не смогу оперативно ответить на все ваши вопросы, обязательно сделаю это по приезду.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

Примите поздравления с появлением еще одного теста!

Таким макаром вкупе с остальными тестими (лечение активного заражения/тест самозащиты/... ) может получиться и более-менее полная картина : )

Относительно результатов:

- Учитывая установку в тестах макс. настроек, для Avira, не исключено, сыграл роль детект "Unusual Runtime Compression Tools".

Это можно бы было хотя бы приблизительно оценить при наличии

статистики "упакованности" файлов (~сколько в % и ~чем, в %)

Или при наличии детального описания детектов/логов проверки.

Но это уже из серии "хорошо бы". Понятно, что трудно объять все моменты.

- несколько удивила Panda. Не то, чтобы я являлся ее горячим поклонником, но был о ее паранойе более высокого мнения

- удивил Avast. Был о нем худшего мнения в данном аспекте.

---

По поводу неизбежных очепяток:

...показали удовлетворительный результат и получили награду Bronze Self-Protection Award.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
- Учитывая установку в тестах макс. настроек, для Avira, не исключено, сыграл роль детект "Unusual Runtime Compression Tools".

Это можно бы было хотя бы приблизительно оценить при наличии

Логи есть, можно будет посчитать количество таких детектов.

- несколько удивила Panda. Не то, чтобы я являлся ее горячим поклонником, но был о ее паранойе более высокого мнения

Если смотреть недельные данные, то видно, как уровень детекта Панды резко упал после первой недели и далее также быстро падал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Великолепный тест. Результаты во многом были предсказуемы. Конечно, если бы учитывались фолсы, то и картина была бы иная и рейтинговая таблица - другой. Но это уже другой вопрос. В любом случае благодарю Сергея. Можно использовать как наглядное пособие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Лучшими по общему показателю защиты от вредоносных программ оказались F-Secure Anti-Virus (98%), Kaspersky Anti-Virus (93%), Avira AntiVir Personal Edition Premium (93%), BitDefender Antivirus (86%) и AVG Anti-Virus (86%)."

опять опечатка.у каспера 98%, а не 93%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×