Второй по счету тест проактивной защиты (эвристических анализаторов) в 16-ти персональных антивирусных продуктах, в котором они сравниваются по количеству ложных срабатываний, что очень важно для общего анализа эффективности работы любой проактивной технологии.
Как я уже писал в предыдущей статье "Проверка эффективности проактивной антивирусной защиты (тест I)", никогда не стоит забывать и об обратной стороне работы любой проактивной технологии и эвристики в частности – ложных срабатываниях, которые, безусловно, почти всегда имеют место.
Поэтому наряду с качеством детектирования эвристических анализаторов нужно рассматривать количество ложных срабатываний, возникших во время проведения тестирования.
В тесте принимали участие 16 антивирусных программ, среди которых:
- Avast! 4.6.763 Professional Edition
- AVG Professional 7.1.135
- AVIRA Antivir Personal Edition Premium 7.00.00.21
- BitDefender Anti-Virus 9.0 Professional Plus
- Dr.Web Anti-Virus for Windows 95-XP 4.33.0.9293
- Eset NOD32 Anti-Virus 2.51.20
- F-Prot Anti-Virus for Windows 3.16f
- F-Secure Anti-Virus 6.12
- GDATA AntiVirusKit (AVK) 16.0.5
- Kaspersky Anti-Virus Personal Pro 5.0.391
- McAfee VirusScan 10.0.21 (с движком 5000)
- Norman VirusControl 5.81
- Panda Platinum Internet Security 10.01.02
- Symantec Norton Anti-Virus 12.1.0.20
- TrustPort Antivirus Workstation 1.5.0.752
- VBA32 Workstation 3.10.5
В таблице 1 приведено общее количество ложных срабатываний каждого антивируса, а также разбивка по причине возникновения ложного срабатывания – сигнатуры или эвристика. Напомню, что используемые в этой статье данные взяты из теста Андреаса Клименти (проект www.av-comparatives.org), который проводился в мае 2006 года.
Таблица 1: Количество ложных срабатываний различных антивирусов
|
Как видно, наибольшее количество ложных срабатываний сделали VBA32, Dr. Web и AntiVir, при этом подавляющая их часть вызвана именно эвристиками. За этот тройкой плотной группой идет большое количество антивирусов, которые совершили от 8 до 3 ложных срабатываний. Нужно отметить, что все 5 ложных срабатываний NOD32 относятся к работе эвристик, а у Avast! – к сигнатурам.
Минимальное количество ложных срабатываний в данном тесте показал Norton Anti-Virus, у которого их нет вообще, совсем рядом оказался McAfee VirusScan, у которого всего одно ложное срабатывание. Более наглядно данные таблицы представлены на следующем рисунке.
Рисунок 1: Количество ложных срабатываний различных антивирусов
Теперь интересно посмотреть, как соотносится количество ложных срабатываний и эффективность работы различных эвристиков. Для этого введем специальный коэффициент Ke, который будет равняться отношению суммарного количества ложных срабатываний эвристика к общему количеству детектированных вредоносных программ, выраженному в процентах.
При таком расчете сразу будет видно, какие из антивирусных компаний «докручивают» свой эвристик за счет увеличения ложных срабатываний. Результаты расчета приведены в таблице и рисунке 2.
Таблица 2: Отношение количества ложных срабатываний к эффективности работы эвристиков (Ke)
|
Рисунок 2: Отношение количества ложных срабатываний к эффективности работы эвристиков (Ke)
Выводы
Удовлетворительными по количеству ложных срабатываний можно считать результаты работы AVG Professional, F-Prot Anti-Virus, Panda Anti-Virus, Avast! Professional, F-Secure Anti-Virus, Kaspersky Anti-Virus Personal Pro, AntiVirusKit (AVK), BitDefender Professional Plus и Norman VirusControl – 0.5-0.2% ложных срабатываний.
Тройка же лидеров, у которых ложные срабатывания эвристика минимальны и не выходят за рамки 0.1% выглядит так: Norton Anti-Virus, McAfee VirusScan и NOD32 Anti-Virus. Однако не стоит забывать, что в случае с Norton и McAfee платой за низкий уровень ложных срабатываний является низкий процент эффективности – 16% и 30% соответственно.
Автор: Сергей Ильин
Основатель проекта Anti-Malware.ru
29.07.2006
