Результаты теста проактивной антивирусной защиты

[Сергей Ильин 1538]

Уважаемые коллеги!

Предлагаю вашему вниманию результаты теста проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Этот тест оказался самым длительным по времени и самым трудозатратным, из тех, что я делал ранее. Почему так, получилось, я уверен, вы поймете ознакомившись с результами теста.

http://www.anti-malware.ru/node/150

Убедительная просьба внимательно ознакомить с методологией тестирования

http://www.anti-malware.ru/node/148

Краткие результаты теста:

Gold Proactive Protection Award

Avira AntiVir Personal Edition Premium 7.0 (71%)

BitDefender Antivirus 2008 (65%)

Silver Proactive Protection Award

Eset Nod32 Anti-Virus 3.0 (59%)

Dr.Web 4.44 (57%)

Sophos Anti-Virus 7.0 (56%)

Avast! Professional Edition 4.7 (52%)

VBA32 Antivirus 3.12 (48%)

Kaspersky Anti-Virus 7.0 (45%)

McAfee VirusScan Plus 2008 (43%)

Bronze Proactive Protection Award

Symantec Anti-Virus 2008 (38%)

AVG Anti-Virus Professional Edition 7.5 (37%)

F-Secure Anti-Virus 2008 (36%)

Trend Micro Antivirus plus Antispyware 2008 (30%)

Тест провален

Agnitum Outpost Security Suite 2008 (12%)

Абсолютным лидером по эффективности эвристического компонента защиты является Avira AntiVir Personal Edition Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 71%.

Также очень эффективной оказалась эвристика в BitDefender Antivirus, который обнаружил 65% неизвестных вредоносных программ. Оба продукта, согласно используемой схеме награждения, получили награду Gold Proactive Protection Award.

***************************************************

Ну и на сладкое в виде бонуса вот такие результаты получились, если обновить базы и прогнать по коллекции свежачка все тестируемые антивирусы

Качество обнаружения новых вирусов, вклад различных компонет

Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

В итоге лучшими по обнаружение новых вредоносных программ оказались F-Secure Anti-Virus (98%), Kaspersky Anti-Virus (93%), BitDefender Antivirus (86%) и AVG Anti-Virus (86%).

***************************************************

Жду ваших комментариев :-)

[Dmitry Perets 30]

Agnitum OSS не оправдал надежд =)

А в целом ощущения как после теста Клементи: общий уровень проактивного детекта явно увеличился. Либо сэмплы стали стандартнее и проще, либо технологии стали умнее. Радует =)

[Иван 290]

ну что сказать..вроде бы по сути тот же ретроспективный тест, что и клементи...а добавлены очень правильные вещи

во-первых, правильно что сделали отступ в две недели между заморозкой антивирусных баз и началом сбора вредоносных программ.

во-вторых, добавка результатов сканирования с уже обновленными базами просто офигительно добавила очков тесту, от разукрашеной картинки я просто писал кипятком. Глядя на диаграмму по общему уровню обнаружения сразу становится понятно, что проактив важен, но тот кто забывает о работе вирлаба над сигнатурным детектом -по общему итогу проигрывает.

кстати эти идеи я видел в презентации Andrew Lee из Есета http://www.slideshare.net/frisksoftware/te...ctions/download, которую он на International Antivirus Testing Workshop прочел. Молодец Сергей Ильин грамотно воплотил в жизнь.

В минус же тесту

- то, что не проверялись фолсы.

- при ретроспективном тесте проверяется качество не чистого эаристика, а проверяется сочетание эвристик+дженерики. Про это я не увидел где сказано. Чистым эвристиком тот же Симантек взял бы еще меньше небось.

-у Клементи сказаны простым языком очень правильные слова для простых пользователей на тему того почему важно ловить вирье проактивно с одной стороны и но с другой стороны, что этот тест показывает эффективность только лишь одного компонента антивируса и по его результатм нельзя судить об общем качестве антивируса. Я думаю многим простым юзерам для лучшего понимания результатов будет не хватать этих слов в вашем тексте. Надеюсь пресрелиз по тесту будет написан чуть менее "продвинутым" языком.

Что касается самих результатов, то я в принципе не удивлен. Разве что то, что Трендмайкро и Agnitum (Вирусбастер) практически ничего не добавили в базы сигнатур за такой длинный период вызвало у меня неприятный осадок по поводу их вирлабов и скорости добавления.

[A. 876]

в отчете, во второй таблице, со статистикой по количеству самплов ошибка, имхо. вместо "Кол-во обнаруженных вирусов" наверное надо "Кол-во НЕ обнаруженных вирусов"...

[Иван 290]

Agnitum OSS не оправдал надежд =)

зато получил VB100%

[Dexter 20]

Чот меня напрягло.

Сравнение с клименти, наверное...

Или аваст посерединке...

Посмотрю на неделе...

P.S. Радует, что A. со своими гадостями и точностями появился.

P.P.S. Иван, с тыща первым постом...(заметил, блин)

[Николай Головко 70]

Таблица ложных срабатываний была бы действительно к месту.

В целом тест добротный и интересный. Спасибо за проделанную работу.

[Иван 290]

P.P.S. Иван, с тыща первым постом...(заметил, блин)

черт, а я и не просек сразу

пасиба Dexter

[Сергей Ильин 1538]

В минус же тесту

- то, что не проверялись фолсы.

- при ретроспективном тесте проверяется качество не чистого эаристика, а проверяется сочетание эвристик+дженерики. Про это я не увидел где сказано. Чистым эвристиком тот же Симантек взял бы еще меньше небось.

-у Клементи сказаны простым языком очень правильные слова для простых пользователей на тему того почему важно ловить вирье проактивно с одной стороны и но с другой стороны, что этот тест показывает эффективность только лишь одного компонента антивируса и по его результатм нельзя судить об общем качестве антивируса. Я думаю многим простым юзерам для лучшего понимания результатов будет не хватать этих слов в вашем тексте. Надеюсь пресрелиз по тесту будет написан чуть менее "продвинутым" языком.

Проверять ложные срабатывания - это отдельный большой тест и он совсем не простой, как может показаться на первый взгляд. Я писал ранее, что мешать все в кучу не хочу, в начале следующего года сделаем полноценный тест на ложняки, тогда можно будет сопоставить результаты.

По совету коллег здесь не стал заострять внимание на составных частях детекта, так как все понимают под той или иной технологией свое.

Текст для простых пользователей добавляю, это я упустил из виду.

в отчете, во второй таблице, со статистикой по количеству самплов ошибка, имхо. вместо "Кол-во обнаруженных вирусов" наверное надо "Кол-во НЕ обнаруженных вирусов"...

Да, это ошибка, сейчас поправлю.

[Valery Ledovskoy 1082]

Сергей Ильин, поздравляю с окончанием этой сложной работы.

Тест получился очень качественный.

Результаты вполне можно использовать в работе.

Можно использовать для обучения начинающих пользователей, которые кроме VB ничего не видят. Можно в очередной раз показать, что антивирус - это сложное по устройству ПО, и что можно лишь стремиться объективно ранжировать антивирусные продукты по выбранному для тестирования параметру.

Думаю, этот тест сильно приблизил нас к объективности.

Но, думаю, Вы на этом не остановитесь, поэтому желаю удачи в проведении будущих тестирований.

[Сергей Ильин 1538]

Валерий, спасибо за поздравления и положительную оценку проделанной работы. На этом тесте была сделана попытка выйти на качественно новый уровень работы, надеюсь это получилось.

Предвкушая вопросы по Trend Micro: после обновления он взял всего +9 самплов к тому, что было найдено ранее, что составило менее 1% от размера общей коллекции.

[dan 10]

При всём моём уважении к вашему труду...

Вы пытаетесь оценить потенциальные возможности различных продуктов или как они реально защищают пользователей?

Если первое - то всё ОК, нарицаний нет.

А если второе, то надо тестировать антивирусы на настройках по умолчанию.

Выкручивание всех эвристик на максимум может привести не только к катастрофичному замедлению работы как антивируса, так и компьютера, но и к появлению огромного числа фолсов.

Именно поэтому антивирусные компании рекомендуют определённые настройки пользователю. И поэтому 99% пользователей придерживаются этим настройкам.

[Сергей Ильин 1538]

В первую очередь проверялись потенциальные возможности продуктов, в частности эвристического компонента. Но академическим этот тест назвать нельзя, так как максимальные настройки часто используются при сканировании по требованию, а в настройках антивирусных мониторов чаще всего эвристика или отключена (тот же Касперский или Нод) или стоит на минимуме, фактически не используется.

[alexgr 556]

Сергей - отличная работа. Добротно сработано. Качество тестов раз от разу растет. Поздравляю вас и коллектив - респект!

[dan 10]

Вот и интересно, сколько процентов вирья продетектируют мониторы того же касперского и нода с настройками по умолчанию. А потом сканеры.

У вас же, наверняка, остались образы VmWare. Может дополните тест? Будет очень интересно.

И конечным пользователям показательней.

И вендорам продемонстрировать, насколько эффективны дефолтные настройки.

[Black Angel 125]

Согласен с dan. Такая информация будет интересна. Посмотреть результаты по дефолту и с максимальными настройками.

[dan 10]

Просто сначала говорите много слов (в основном вполне обоснованных) про то как другие делают синтетические тесты, про то, что надо симулировать работу пользователя. А сами потом проводите тестирование, которое непонятно что и кому показывает.

На самом деле, конечно, тест вы сделали отличный, за что вам низкий поклон . Но его достаточно легко было доделать до теста, который можно было бы принять за стандарт в тестировании антивирусов.

[Иван 290]

не могу не согласиться, тем более что:

Advanced Heuristics extend the standard heuristic capabilities of ESET Smart Security and allows detection of a high number of new threats, etc. The advanced heuristics are disabled by default in the real-time components of ESET Smart Security. We recommend that you use Advanced Heuristics carefully when setting preferences for an on-demand scan, as it can slow the scanning time dramatically and occasionally produce a ‘False Positive’. For this reason, Advanced Heuristics are not enabled by default.

Так что было бы интересно поглядеть на уровень эвристики нода32 по умолчанию.

Добавлено спустя 26 минут 57 секунд:

но с другой стороны нельзя сказать что тест ничего не показывает.

он показывает что можно выжать из антивиря при проверке файла по требованию. Что собственно я часто делаю с файлами, которые скачиваю или по получаю по почте из мест не внушающих мне доверия.

[Сергей Ильин 1538]

На самом деле, конечно, тест вы сделали отличный, за что вам низкий поклон Wink . Но его достаточно легко было доделать до теста, который можно было бы принять за стандарт в тестировании антивирусов.

Спасибо, за комментарий. Заменять детект, конечно, можно в два захода: со стандартными настройками и с максимальными, это не проблема и увеличит трудозатраты не слишком. В следующий раз обязательно сделаю в два прогона.

Единственным минусом тут может быть, возможно, усложнение результатов в целом, особенно если с разными настройками будут разные лидеры

[Иван 290]

Сергей а до вас дошли мои сообщения отправленны около 23.00 в личку по поводу тренда?

что-то они у меня висят в исходящих и в отправленные не попадают.

я продублировал на почту (anti-malware.ru)

[Сергей Ильин 1538]

Сергей а до вас дошли мои сообщения отправленны около 23.00 в личку по поводу тренда?

Дошли, отписался уже по ним. Trend Micro не повезло из-за редкого выхода обновлений. Сегодня они уже берут гораздо больше (около 60%), но к сожалению, условия для все одинаковые.

Возможно и VirusBuster будет через недельки 3-4 будет показывать детект под 80% так ...

P.S. Я уезжаю на пару недель, поэтому не смогу оперативно ответить на все ваши вопросы, обязательно сделаю это по приезду.

[NickXists 5]

Примите поздравления с появлением еще одного теста!

Таким макаром вкупе с остальными тестими (лечение активного заражения/тест самозащиты/... ) может получиться и более-менее полная картина : )

Относительно результатов:

- Учитывая установку в тестах макс. настроек, для Avira, не исключено, сыграл роль детект "Unusual Runtime Compression Tools".

Это можно бы было хотя бы приблизительно оценить при наличии

статистики "упакованности" файлов (~сколько в % и ~чем, в %)

Или при наличии детального описания детектов/логов проверки.

Но это уже из серии "хорошо бы". Понятно, что трудно объять все моменты.

- несколько удивила Panda. Не то, чтобы я являлся ее горячим поклонником, но был о ее паранойе более высокого мнения

- удивил Avast. Был о нем худшего мнения в данном аспекте.

---

По поводу неизбежных очепяток:

...показали удовлетворительный результат и получили награду Bronze Self-Protection Award.

[Сергей Ильин 1538]

- Учитывая установку в тестах макс. настроек, для Avira, не исключено, сыграл роль детект "Unusual Runtime Compression Tools".

Это можно бы было хотя бы приблизительно оценить при наличии

Логи есть, можно будет посчитать количество таких детектов.

- несколько удивила Panda. Не то, чтобы я являлся ее горячим поклонником, но был о ее паранойе более высокого мнения

Если смотреть недельные данные, то видно, как уровень детекта Панды резко упал после первой недели и далее также быстро падал.

[Mr. Justice 771]

Великолепный тест. Результаты во многом были предсказуемы. Конечно, если бы учитывались фолсы, то и картина была бы иная и рейтинговая таблица - другой. Но это уже другой вопрос. В любом случае благодарю Сергея. Можно использовать как наглядное пособие.

[A. 876]

Лучшими по общему показателю защиты от вредоносных программ оказались F-Secure Anti-Virus (98%), Kaspersky Anti-Virus (93%), Avira AntiVir Personal Edition Premium (93%), BitDefender Antivirus (86%) и AVG Anti-Virus (86%)."

опять опечатка.у каспера 98%, а не 93%