Тест проактивной антивирусной защиты (декабрь 2007)

Последнее время в индустрии большое внимание уделяется так называемым проактивным методам антивирусной защиты, которые позволяют антивирусу противостоять еще неизвестным видам и модификациям вредоносных программ. Данное направление развития является наиболее перспективным на рынке, и почти каждый производитель пытается подчеркнуть, что именно его проактивная защита лучшая.

Более того, делаются попытки в каком-то смысле даже противопоставить новейшие проактивные технологии прежним реактивным (классическим), которые основываются на сигнатурных методах обнаружения вредоносных программ и требуют постоянного и оперативного обновления антивирусных баз данных.

Сама концепция проактивной защиты, безусловно, выглядит очень привлекательно: вирус еще не появился, а защита от него уже есть. Но возникает вопрос, насколько эти технологии эффективны?

Сразу оговоримся, что проактивные технологии – довольно обширное понятие, включающее в себя множество направлений и составляющих, охватить их все в рамках одного теста не представляется возможным. В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры), не принимая во внимание анализ системных событий (поведенческие блокираторы, HIPS).

Результаты этого теста дают возможность ответить на вопросы: "Насколько эффективна эвристика? В каком антивирусе этот компонент защиты работает лучше?"

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста. В результате фиксировалось качество обнаружения новых вирусов, а также эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике.

Методология проведения теста »
Анализ результатов теста и награды »

Основные результаты тестирования

Gold Proactive Protection Award
Gold Proactive Protection Award

Avira AntiVir Personal Edition Premium 7.0 (71%)
BitDefender Antivirus 2008 (65%)
Silver Proactive Protection Award
Silver Proactive Protection Award

Eset Nod32 Anti-Virus 3.0 (59%)
Dr.Web 4.44 (57%)
Sophos Anti-Virus 7.0 (56%)
Avast! Professional Edition 4.7 (52%)
VBA32 Antivirus 3.12 (48%)
Kaspersky Anti-Virus 7.0 (45%)
McAfee VirusScan Plus 2008 (43%)
Bronze Proactive Protection Award
Bronze Proactive Protection Award
Symantec Anti-Virus 2008 (38%)
AVG Anti-Virus Professional Edition 7.5 (37%)
F-Secure Anti-Virus 2008 (36%)
Trend Micro Antivirus plus Antispyware 2008 (30%)
Panda Antivirus 2008 (20%)
Тест провален Agnitum Outpost Security Suite 2008 (12%)

 

Измерение эффективности проактивной антивирусной защиты

В тестировании эффективности проактивной антивирусной защиты принимали участие 15 наиболее популярных антивирусных программ, среди которых:

  1. Agnitum Outpost Security Suite 2008
  2. Avast! Professional Edition 4.7
  3. AVG Anti-Virus Professional Edition 7.5
  4. Avira AntiVir Personal Edition Premium 7.0
  5. BitDefender Antivirus 2008
  6. Dr.Web 4.44
  7. Eset Nod32 Anti-Virus 3.0
  8. F-Secure Anti-Virus 2008
  9. Kaspersky Anti-Virus 7.0
  10. McAfee VirusScan Plus 2008
  11. Panda Antivirus 2008
  12. Sophos Anti-Virus 7.0
  13. Symantec Anti-Virus 2008
  14. Trend Micro Antivirus plus Antispyware 2008
  15. VBA32 Antivirus 3.12

Тест антивирусов проводился под операционной системой Windows XP SP2 в период с 21 октября по 8 декабря 2007 года четко в соответствии с определенной методологией, по которой создавались специальные условия для проверки эффективности работы эвристиков (для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста).

На рисунке 1 и в таблице 1 представлены результаты обнаружения неизвестных вредоносных программ различными антивирусами.

Рисунок 1: Результаты теста эффективности эвристиков

Результаты теста эффективности эвристиков

 

Таблица 1: Результаты теста эффективности эвристиков

Антивирус
Кол-во необнаруженных вирусов
Процент обнаруженных вирусов
Avira 1210 71%
BitDefender 1560 63%
Eset 1739 59%
DrWeb 1793 57%
Sophos 1855 56%
Avast 2029 52%
VBA 2175 48%
Kaspersky 2289 45%
McAfee 2381 43%
Symantec 2583 38%
AVG 2637 37%
F-Secure 2685 36%
Trend Micro 2927 30%
Panda Security 3165 24%
Agnitum (VirusBuster) 3679 12%
Всего образцов в коллекции: 4191  

 

Абсолютным лидером по эффективности эвристического компонента защиты является Avira AntiVir Personal Edition Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 71%.

Также очень эффективной оказалась эвристика в BitDefender Antivirus, который обнаружил 65% неизвестных вредоносных программ. Оба продукта, согласно используемой схеме награждения, получили награду Gold Proactive Protection Award.

Высокую эффективность эвристического компонента защиты показали Eset Nod32 Anti-Virus, Dr.Web, Sophos Anti-Virus, Avast! Professional Edition, VBA32 Antivirus, Kaspersky Anti-Virus, McAfee VirusScan Plus, уровень обнаружения которых составил от 59% до 43% соответственно. Все эти продукты получили высокую награду Silver Proactive Protection Award. Первым двум антивирусам из этой группы не хватило всего лишь 1-3%, чтобы войти в группу победителей и получить награду Gold Proactive Protection Award.

Еще 5 продуктов: Symantec Anti-Virus, AVG Anti-Virus Professional Edition, F-Secure Anti-Virus, Trend Micro Antivirus plus Antispyware, Panda Antivirus, показали удовлетворительный результат и получили награду Bronze Proactive Protection Award.

Единственным провалившим тест оказался Agnitum Outpost Security Suite, в котором эвристик, по сути, отсутствует. Его результат составил лишь 12%.

 

Итоговые результаты тестирования и награды

Gold Proactive Protection Award
Gold Proactive Protection Award

Скачать изображение GIF (500х500px)
Avira AntiVir Personal Edition Premium 7.0 (71%)
BitDefender Antivirus 2008 (65%)
Silver Proactive Protection Award
Silver Proactive Protection Award

Скачать изображение GIF (500х500px)
Eset Nod32 Anti-Virus 3.0 (59%)
Dr.Web 4.44 (57%)
Sophos Anti-Virus 7.0 (56%)
Avast! Professional Edition 4.7 (52%)
VBA32 Antivirus 3.12 (48%)
Kaspersky Anti-Virus 7.0 (45%)
McAfee VirusScan Plus 2008 (43%)
Bronze Proactive Protection Award
Bronze Proactive Protection Award

Скачать изображение GIF (500х500px)
Symantec Anti-Virus 2008 (38%)
AVG Anti-Virus Professional Edition 7.5 (37%)
F-Secure Anti-Virus 2008 (36%)
Trend Micro Antivirus plus Antispyware 2008 (30%)
Panda Antivirus 2008 (20%)
Тест провален Agnitum Outpost Security Suite 2008 (12%)

 

Изменение эффективности проактивной антивирусной защиты во времени

Так как в соответствии с методологией в тесте использовалась месячная коллекция новых вредоносных программ (собранная с 5 ноября по 2 декабря), стало возможным проверить, как изменяется эффективность работы различных эвристиков во времени. Для этого коллекция была разбита по времени поступления образцов на 4 равные части, по неделе на каждую.

Таким образом, на рисунке 2 и в таблице 2 представлены данные по эффективности работы эвристиков на недельных коллекциях.

Рисунок 2: Результаты теста эффективности эвристиков (разбивка по неделям)

Результаты теста эффективности эвристиков (разбивка по неделям)

 

Таблица 2: Результаты теста эффективности эвристиков (разбивка по неделям)

Антивирус
Процент обнаруженных вирусов
Неделя 1
Неделя 2
Неделя 3
Неделя 4
Avira 72% 72% 65% 74%
BitDefender 66% 63% 56% 65%
Eset 72% 58% 47% 56%
DrWeb 58% 53% 53% 63%
Sophos 64% 60% 44% 55%
Avast 54% 51% 40% 59%
VBA 57% 45% 48% 43%
Kaspersky 49% 40% 42% 49%
McAfee 45% 42% 33% 50%
Symantec 42% 36% 30% 44%
AVG 47% 32% 35% 34%
F-Secure 38% 29% 32% 43%
Trend Micro 41% 23% 21% 33%
Panda Security 39% 23% 20% 16%
Agnitum (VirusBuster) 17% 9% 11% 12%
Всего образцов в коллекции: 4191  

 

Как видно из таблицы 2, эвристический компонент Avira AntiVir Personal Edition Premium, BitDefender Antivirus, Dr.Web и Kaspersky Anti-Virus демонстрирует наиболее стабильную эффективность, в то время как в Eset Nod32 Anti-Virus, Panda Antivirus и AVG Anti-Virus Professional Edition она сильно падает во времени при отсутствии обновлений. С этой точки зрения можно особенно выделить Eset Nod32 Anti-Virus, чья эвристика сильно потеряла эффективность в течение тестируемого периода.

 

Сигнатуры или эвристика?

В качестве приложения к тесту производилось финальное измерение уровня детектирования на собранной коллекции на обновленных антивирусах через неделю после завершения основного теста (8 декабря 2007). В результате фиксировалась эффективность работы классических сигнатурных методов каждого антивируса в дополнение к эвристике. Это позволило увидеть, какую роль в обеспечении общего уровня детектирования антивирусов играет той или иной компонент
(см. рисунок 3).

Рисунок 3: Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

Расшифровка

Диагональная линия на рисунке 3 означает уровень 100% детектирования новых вредоносных программ. Приблизиться к нему можно при помощи эффективной работы различных компонент антивирусных защиты или их сбалансированной работы.

Продукты, попавшие в темно-оранжевую (80-100%) и светло-оранжевую (60-80%) зоны, показали отличный и хороший уровень обнаружения новых вирусов (возрастом от 1 до 5 недель, см. методологию).

Большинство из них: Avira AntiVir Personal Edition Premium, Dr.Web, BitDefender Antivirus, Eset Nod32 Anti-Virus, Sophos Anti-Virus - сделали это в основном за счет вклада проактивного компонента.

Kaspersky Anti-Virus и F-Secure Anti-Virus добились того же в основном за счет сигнатурного компонента.

Самыми сбалансированными в этом отношении оказались AVG Anti-Virus Professional Edition и VBA32 Antivirus, Symantec Anti-Virus и McAfee VirusScan Plus, в которых оба компонента отработали одинаково эффективно (попали в левый нижний квадрат на рисунке 3, а общий уровень обнаружения вредоносных программ оказался хорошим или отличным).

Посредственным по общему обнаружению новых вредоносных программ оказался Panda Antivirus, а Trend Micro Antivirus plus Antispyware и Agnitum Outpost Security Suite оказались совершенно неэффективными против новых угроз.

 

Таблица 3: Качество обнаружения новых вирусов

Антивирус
% обнаруженных вирусов без обновления
(4 недели)
% обнаруженных вирусов после обновления
Суммарный % обнаруженных вирусов
Avira 71.1% 21.5% 92.7%
BitDefender 62.8% 23.1% 85.9%
Eset 58.5% 18.1% 76.6%
DrWeb 57.2% 23.8% 81%
Sophos 55.7% 12.6% 68.3%
Avast 51.6% 24.6% 76.2%
VBA 48.1% 31% 79.1%
Kaspersky 45.4% 52.2% 97.6%
McAfee 43.2% 20% 63.2%
Symantec 38.4% 26.2% 64.6%
AVG 37.1% 49.2% 86.3%
F-Secure 35.9% 62.2% 98.2%
Trend Micro 30.2% 0.3% 30.4%
Panda Security 24.5% 33.6% 58.1%
Agnitum (VirusBuster) 12.2% 1.3% 13.5%

 

Рисунок 4: Качество обнаружения новых вирусов, вклад различных компонет

Вклад эвристики и сигнатур, Качество обнаружения новых вирусов

Лучшими по обнаружение новых вредоносных программ оказались F-Secure Anti-Virus (98.2%), Kaspersky Anti-Virus (97.6%), Avira AntiVir Personal Edition Premium (92.7%), BitDefender Antivirus (86%) и AVG Anti-Virus (85.9%).

 

Автор:
Сергей Ильин

Если вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter, чтобы сообщить об этом редакции    Система Orphus

Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.