Сравнение эффективности проактивной антивирусной защиты (тест II)

Второй по счету тест проактивной защиты (эвристических анализаторов) в 16-ти персональных антивирусных продуктах, в котором они сравниваются по количеству ложных срабатываний, что очень важно для общего анализа эффективности работы любой проактивной технологии.

Как я уже писал в предыдущей статье "Проверка эффективности проактивной антивирусной защиты (тест I)", никогда не стоит забывать и об обратной стороне работы любой проактивной технологии и эвристики в частности – ложных срабатываниях, которые, безусловно, почти всегда имеют место.

Поэтому наряду с качеством детектирования эвристических анализаторов нужно рассматривать количество ложных срабатываний, возникших во время проведения тестирования.

В тесте принимали участие 16 антивирусных программ, среди которых:

  1. Avast! 4.6.763 Professional Edition
  2. AVG Professional 7.1.135
  3. AVIRA Antivir Personal Edition Premium 7.00.00.21
  4. BitDefender Anti-Virus 9.0 Professional Plus
  5. Dr.Web Anti-Virus for Windows 95-XP 4.33.0.9293
  6. Eset NOD32 Anti-Virus 2.51.20
  7. F-Prot Anti-Virus for Windows 3.16f
  8. F-Secure Anti-Virus 6.12
  9. GDATA AntiVirusKit (AVK) 16.0.5
  10. Kaspersky Anti-Virus Personal Pro 5.0.391
  11. McAfee VirusScan 10.0.21 (с движком 5000)
  12. Norman VirusControl 5.81
  13. Panda Platinum Internet Security 10.01.02
  14. Symantec Norton Anti-Virus 12.1.0.20
  15. TrustPort Antivirus Workstation 1.5.0.752
  16. VBA32 Workstation 3.10.5

В таблице 1 приведено общее количество ложных срабатываний каждого антивируса, а также разбивка по причине возникновения ложного срабатывания – сигнатуры или эвристика. Напомню, что используемые в этой статье данные взяты из теста Андреаса Клименти (проект www.av-comparatives.org), который проводился в мае 2006 года.

Таблица 1: Количество ложных срабатываний различных антивирусов

Антивирус Общее количество Сигнатуры Эвристика
VBA32 Workstation 73 5 68
Dr. Web 46 12 34
AntiVir PE Premium 25 5 20
TrustPort AV WS 8 6 2
Panda Anti-Virus 7 1 6
AntiVirusKit (AVK) 6 3 3
Avast! Professional 5 5 0
BitDefender Prof.+ 5 3 2
NOD32 Anti-Virus 5 0 5
F-Prot Anti-Virus 4 2 2
F-Secure Anti-Virus 4 2 2
KAV Personal Pro 4 2 2
AVG Professional 3 2 1
Norman VirusControl 3 3 0
McAfee VirusScan 1 1 0
Norton Anti-Virus 0 0 0

 

Как видно, наибольшее количество ложных срабатываний сделали VBA32, Dr. Web и AntiVir, при этом подавляющая их часть вызвана именно эвристиками. За этот тройкой плотной группой идет большое количество антивирусов, которые совершили от 8 до 3 ложных срабатываний. Нужно отметить, что все 5 ложных срабатываний NOD32 относятся к работе эвристик, а у Avast! – к сигнатурам.

Минимальное количество ложных срабатываний в данном тесте показал Norton Anti-Virus, у которого их нет вообще, совсем рядом оказался McAfee VirusScan, у которого всего одно ложное срабатывание. Более наглядно данные таблицы представлены на следующем рисунке.

Рисунок 1: Количество ложных срабатываний различных антивирусов

Количество ложных срабатываний различных антивирусов

 

Теперь интересно посмотреть, как соотносится количество ложных срабатываний и эффективность работы различных эвристиков. Для этого введем специальный коэффициент Ke, который будет равняться отношению суммарного количества ложных срабатываний эвристика к общему количеству детектированных вредоносных программ, выраженному в процентах.

При таком расчете сразу будет видно, какие из антивирусных компаний «докручивают» свой эвристик за счет увеличения ложных срабатываний. Результаты расчета приведены в таблице и рисунке 2.

Таблица 2: Отношение количества ложных срабатываний к эффективности работы эвристиков (Ke)

Название антивируса Всего ложных срабатываний Всего детектировано вредоносов Ke
TrustPort AV WS 8 424 1.887%
VBA32 Workstation 73 4935 1.479%
Dr. Web 46 3901 1.179%
AntiVir PE Premium 25 4727 0.529%
AVG Professional 3 601 0.499%
F-Prot Anti-Virus 4 1116 0.358%
Panda Anti-Virus 7 2595 0.270%
Avast! Professional 5 1898 0.263%
F-Secure Anti-Virus 4 2056 0.195%
KAV Personal Pro 4 2069 0.193%
AntiVirusKit (AVK) 6 4347 0.138%
BitDefender Prof.+ 5 3974 0.126%
Norman VirusControl 3 2399 0.125%
NOD32 Anti-Virus 5 5034 0.099%
McAfee VirusScan 1 2663 0.038%
Norton Anti-Virus 0 1431 0.000%

 

Рисунок 2: Отношение количества ложных срабатываний к эффективности работы эвристиков (Ke)

Отношение количества ложных срабатываний к эффективности работы эвристиков

 

Выводы

В процентном выражении наибольшее количество ложных срабатываний эвристики в данном тесте оказалось у TrustPort AV WS – 1.8%, за ним следует уже знакомая нам по таблице 1 тройка лидеров: VBA32 Workstation, Dr. Web и AntiVir PE Premium, их результат – 1.5-0.5%. Надежность работы эвристических анализаторов у этих антивирусов можно считать низкой.

Удовлетворительными по количеству ложных срабатываний можно считать результаты работы AVG Professional, F-Prot Anti-Virus, Panda Anti-Virus, Avast! Professional, F-Secure Anti-Virus, Kaspersky Anti-Virus Personal Pro, AntiVirusKit (AVK), BitDefender Professional Plus и Norman VirusControl – 0.5-0.2% ложных срабатываний.

Тройка же лидеров, у которых ложные срабатывания эвристика минимальны и не выходят за рамки 0.1% выглядит так: Norton Anti-Virus, McAfee VirusScan и NOD32 Anti-Virus. Однако не стоит забывать, что в случае с Norton и McAfee платой за низкий уровень ложных срабатываний является низкий процент эффективности – 16% и 30% соответственно. 

 

Автор: Сергей Ильин
Основатель проекта Anti-Malware.ru
29.07.2006

Если вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter, чтобы сообщить об этом редакции    Система Orphus

RSS: Новые статьи на Anti-Malware.ru