Сравнительное тестирование антивирусов на качество проверки

[Сергей Ильин 1538]

Как видно из названия, суть теста - измерить detection rate.

Если кто не нашел, опубликован он здесь: http://www.anti-malware.ru/index.phtml?par...;anid=detection

Для этого на каждом тестируемом антивирусе запускалась задача сканирования по требованию каталога с огромным количеством вирусных экземпляров - более 90000 вирусов. Разбивка этой коллекции по категориям есть в большой таблице.

Тест проводится в апреле 2005 и был ранее опубликован на http://www.virus.gr, правда авторы не удосужились как-то проанализировать результаты, просто выложили голые данные.

Пропустим вводную часть, ее можно прочитать в статье, сразу к самому вкусному. Получены следующие результаты по обнаружению вредоносных программ:

Kaspersky Anti-Virus Personal Pro version 5.0.20 - 99.28%

F-Secure Anti-Virus 2005 version 5.10.450 - 97.55%

eScan Virus Control version 2.6.518.8 - 96.75%

Symantec Anti-Virus Corporate version 9.0.3.1000 - 91.64%

Norton Anti-Virus Professional version 2005 - 91.57%

McAfee VirusScan version 9.0.10 - 89.75%

BitDefender Anti-Virus version 8.0.137 - 88.13%

Panda Platinum 2005 Internet Security version 9.01.02 - 87.75%

RAV Anti-Virus (куплен Microsoft) version 8.6.105 - 87.26%

FRISK F-Prot Anti-Virus version 3.16b - 87.07%

Panda Titanium Anti-Virus version 4.01.02 - 86.27%

Trend Micro PC-Cillin 2005 version 12.1.1034 - 85.98%

Eset Nod32 version 2.12.4 - 85.66%

Authentium Command version 4.92.7 - 84.92%

H+BEDV AntiVir version 6.30.00.17 - 84.50%

Alwil avast! version 4.6.623 - 79.65%

Dr. Web version 4.32b - 78.71%

Sophos Sweep version 3.91 - 73.79%

UNA Anti-Virus version 1.83 - 73.49%

Norman Anti-Virus version 5.80.05 - 65.32%

Grisoft AVG version 7.0.308 - 54.07%

Computer Associates E-Trust Antivirus version 7.0.5.3 - 52.35%

ZoneAlarm (VET Antivirus) version 5.5.062.011 - 52.32%

VirusBuster 2005 version 5.0.147 - 51.51%

ClamWin version 0.83 - 48.44%

AhnLab V3 Pro 2004 - 38.87%

Теперь мои выводы

Первое место в данном сравнительном тестировании по праву занял Антивирус Касперского, итоговые 99.28% обнаруженных вирусов заслуживают оценки отлично. Немного подкачало детектирование макро-вирусов - 82.05% - это третий результат, лучшего сумели добиться McAfee VirusScan и RAV Anti-Virus.

Кроме того, F-Secure Anti-Virus и eScan Virus Control (второе и третье место соответственно) также используют антивирусный движок от Лаборатории Касперского по OEM соглашению. Небольшие различия в показателях детектирования не должны смущать, так как они являются следствием определенных настроек движка.

Следом за "тройкой от Лаборатории Касперского" расположились два продукта Symantec, чьи результаты детектирования незначительно отличаются друг от друга - чуть больше 91%.

Последним участником лидирующей тройки по качеству детектирования среди производителей стал McAfee, немного провалившись на категории malware, и менее чем на 2% отстав от своего главное конкурента в лице Symantec.

Далее чуть позади, довольно плотной группой, расположились BitDefender Anti-Virus, Panda Platinum, RAV Anti-Virus, FRISK F-Prot Anti-Virus, Panda Titanium Anti-Virus, Trend Micro PC-Cillin 2005, Eset Nod32, Authentium Command и H+BEDV AntiVir, чьи результаты лежат в интервале от 88% до 84%. При этом вся группа, за исключением может быть продуктов Panda Software, провалилась на категории malware. Во всех остальных категориях результаты оказались более менее близкие.

Второй российский представитель антивирусной индустрии - антивирус Доктор Веб показал себя крепким середнячком, уступив, например, H+BEDV AntiVir и Alwil avast!, результат - 78.71% (провал на категории malware).

Немного хуже показал результаты Украинский Национальный Антивирус UNA Anti-Virus, который лишь немного проиграл Доктору Вебу, показав себя лучше на категории malware, но "просев" на макро-вирусах.

Нижнюю часть таблицы, пожалуй, нет смысла комментировать подробно. Стоит только акцентировать внимание на довольно слабых результатах движка от Computer Associates: CA E-Trust и ZoneAlarm. Для последнего это особенно неприятно, ведь этот продукт очень популярен благодаря мощному firewall, и компании Check Point было не плохо дополнить его качественным антивирусом, но пока - увы, лишь 52% обнаруженных вирусов из тестовой коллекции.

Стоит отметить, что некоторые испытуемые антивирусы не детектировали и 20% коллекции, т.е., по сути, являются абсолютно бесполезными для антивирусной защиты компьютера. Полные результаты сравнительного тестирования (по всем антивирусам) можно скачать здесь.

[VladB 60]

В целом тестирование совпадает с теми выводами, которые себе сделал я. Приятно, что я не ошибся.

[mikka 0]

Какой глубокий смысл вы видите в том, чтобы выкладывать результаты тестирования таких древних версий продуктов?

У большинства из из них за минувший год произошла куча изменений как в функциональности, качестве, так и в скорости работы (причем не у всех со знаком +).

В-общем неактуально.

Видимо автору кроме как на копирования чужих изысканий годовалой давности мозгов не хватает.

[Сергей Ильин 1538]

Какой глубокий смысл вы видите в том, чтобы выкладывать результаты тестирования таких древних версий продуктов?

У большинства из из них за минувший год произошла куча изменений как в функциональности, качестве, так и в скорости работы (причем не у всех со знаком +).

В-общем неактуально.

Видимо автору кроме как на копирования чужих изысканий годовалой давности мозгов не хватает.

На счет актуальности теста:

1. Некоторый антивирусы действительно имеют уже более свежие версии, но изменения не критичные. Или вы дейтсвительно считаете, что с переходом, например Nod32 от 2.1 к 2.5 они стали на 20% лучше детектить что то? :-) Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Какие на Ваш взгляд изменения в качестве работы произвшли с апреля 2005 годы, привести хотя бы несколько примеров, очень интересно?

2. Тест сам по себе очень трудоемкий. Попробуйте поставить 58 антивирусов и погонять из большой базе. Пока будете его делать, кто-то из этих 58 100% выпустит новую версию.

К сожалению более свежих тестов я не видел. Когда появится - опубликуем из здесь.

Я лично доверяю результатам данного теста.

[RiC 10]

Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Людям свойственно ошибаться, а качество отлова "коллекционных" вирусов необходимо только для "показателей".

ITW - без комментариев, некоторые "лидеры" находятся почему-то в глубокой "Ж".

PS: Вы видели вирус под DOS ? ... Да :shock: .... и сколько лет назад ???

[Сергей Ильин 1538]

Людям свойственно ошибаться, а качество отлова "коллекционных" вирусов необходимо только для "показателей".

ITW - без комментариев, некоторые "лидеры" находятся почему-то в глубокой "Ж".

Уже много раз обсуждалась тема ITW- это копеешная колекция из нескольких сот вирусов, как по ней можно какие-то репрезентативные тесты ставить? VB100 - это в этом плане сильно преуспел, делая бабки на воздухе.

[baklan 0]

Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Вы проверяли это лично или Вам это кто-то сказал?

Процитирую фрагмент новости о выходе версии 4.33:

"добавление новых типов антивирусных баз, предназначенных для детектирования шпионского и рекламного программного обеспечения (Spyware/Adware) , а также потенциально опасного программного обеспечения (Riskware)."

Адварь версия 4.33, в отличие от 4.32b ловит на ура.

Кроме того, в оригинале приведён несколько больший список антивирусов, в котором есть одна интересная строчка:

Virus Chaser version 5.0 - 88.31%

Эта строчка интересна тем, что данный антивирус сделан на движке Dr.Web и, естественно, использует те же базы. Такой разницы у двух антивирусов на одном движке с одинаковой вирусной базой быть не должно, по идее.

[mikka 0]

На счет актуальности теста:

1. Некоторый антивирусы действительно имеют уже более свежие версии, но изменения не критичные. Или вы дейтсвительно считаете, что с переходом, например Nod32 от 2.1 к 2.5 они стали на 20% лучше детектить что то? :-) Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Я так не считаю, я просто это знаю, в отличие от Вас. Что не делает Вам, как "специалисту", чести.

Какие на Ваш взгляд изменения в качестве работы произвшли с апреля 2005 годы, привести хотя бы несколько примеров, очень интересно?

Мне кажется, это задача Вашего портала доносить до нас, пользователей, всю информацию по антивирусным программам, в том числе и по нововведениям в них.

2. Тест сам по себе очень трудоемкий. Попробуйте поставить 58 антивирусов и погонять из большой базе. Пока будете его делать, кто-то из этих 58 100% выпустит новую версию.

К сожалению более свежих тестов я не видел. Когда появится - опубликуем из здесь.

Я лично доверяю результатам данного теста.

Зачем их тут публиковать? Вам нечем больше заполнить свой сайт, кроме как копированием чужих новостей, статей и тестов? Может быть Вы предложите посетителям сайта все-таки результаты своих личных изысканий?

[Сергей Ильин 1538]

Мне кажется, это задача Вашего портала доносить до нас, пользователей, всю информацию по антивирусным программам, в том числе и по нововведениям в них.

Согласен, будем больше уделять этому внимания. Хотя справедливости ради стоит сказать, что "изменения на уровне движка" часто практически не освещаются вендорами. Попробуйте, например, достать из Доктора Веба информацию, какие новые пакера стали там поддерживаться в версии 4.33 :-) Или как конкретно была улучшена эвристика. Тоже самое и с Trend Micro, Касперским и т.д.

Зачем их тут публиковать? Вам нечем больше заполнить свой сайт, кроме как копированием чужих новостей, статей и тестов? Может быть Вы предложите посетителям сайта все-таки результаты своих личных изысканий?

Anti-malware.ru - это все таки не личная страничка на narod.ru, где можно раз в год что-то там публиковал, это независимый портал, нравится это кому или нет. И публиковаться здесь могут все, чьи материалы соответствуют тематике, уровню качества и интересны пользователям.

Сравнение уровня детектирования с virus.gr отвечает этим требованиям. На тех версиях были именно такие результаты.

Да, некоторые антивирусы уже имеют более свежие версии, следующее тестрирование по той же методике, покажет насколько эти свежие версии стали лучше в плане детектирования. Тем самым мы сможем смотреть резальтаты в динамике, что очень важно.

Вообще тема версия становится уже стандартной отмазкой производителей типа "это этот тест лажа, потому что тестировалась версия Х.123.234, а у нас тукущая уже Х.123.252 .... там такие изменения были ух ... мы реально первые должны быть." А с другой стороны сто им остается

Так все таки, блесните своими знаниями как профессионал.

Какие на Ваш взгляд изменения в качестве работы антивирусов произошли с апреля 2005 годы, привести хотя бы несколько примеров, очень интересно (из того что вышло в релиз, бета версий не надо)?

[Сергей Ильин 1538]

Вы проверяли это лично или Вам это кто-то сказал?

Процитирую фрагмент новости о выходе версии 4.33:

"добавление новых типов антивирусных баз, предназначенных для детектирования шпионского и рекламного программного обеспечения (Spyware/Adware) , а также потенциально опасного программного обеспечения (Riskware)."

Адварь версия 4.33, в отличие от 4.32b ловит на ура.

Кроме того, в оригинале приведён несколько больший список антивирусов, в котором есть одна интересная строчка:

Virus Chaser version 5.0 - 88.31%

Эта строчка интересна тем, что данный антивирус сделан на движке Dr.Web и, естественно, использует те же базы. Такой разницы у двух антивирусов на одном движке с одинаковой вирусной базой быть не должно, по идее.

Да, версия Доктора Веба 4.33 будет лучше смотреться, кто ж спорит. И движок там поправили и spyware базы добавили. Следующий тест непременно это должен показать.

На счет Virus Chaser, я признаться не знал, спасибо за информацию.

Кстати разница в детекте может быть, это реально. Вполне возможно, что движек докрутили, добавили свои базы (на malware он лучше смотриться). Ведь тот же F-Secure не идентичек Каспеоскому на 100%, на сколько я знаю, распаковщики например у них свои и эвристика другая.

[baklan 0]

Весь эвристик и упаковщики, насколько я знаю, у Dr.Web сидят в движке, так что подправить там ничего нельзя. (Хотя на форумах Dr.Web народ регулярно предлагал вынести упаковщики из движка в отдельный файл, чтобы можно было его обновлять вместе с базами, добавляя новые упаковщики). И ни один автор антивирусного движка не будет передавать при лицензировании исходные коды, которые можно было бы изменть - передаются только бинарники и API к ним. Единственное, что могли добавить в Virus Chaser - это дополнительные базы для adware/spyware, которые на тот момент были доступны для бета-тестеров, но это врядли - ни один здравомыслящий разработчик не будет добавлять в свой релиз модули, проходящие бета-тестирование. В общем, если бы авторы первоначального тестирования выложили настройки, с которыми проводилась проверка, и логи антивирусов, получившиеся при проверке, можно было бы судить объективнее, а так IMHO это тестирование сильно попахивает заказным результатом.

[Сергей Ильин 1538]

Весь эвристик и упаковщики, насколько я знаю, у Dr.Web сидят в движке, так что подправить там ничего нельзя. (Хотя на форумах Dr.Web народ регулярно предлагал вынести упаковщики из движка в отдельный файл, чтобы можно было его обновлять вместе с базами, добавляя новые упаковщики). И ни один автор антивирусного движка не будет передавать при лицензировании исходные коды, которые можно было бы изменть - передаются только бинарники и API к ним. Единственное, что могли добавить в Virus Chaser - это дополнительные базы для adware/spyware, которые на тот момент были доступны для бета-тестеров, но это врядли - ни один здравомыслящий разработчик не будет добавлять в свой релиз модули, проходящие бета-тестирование. В общем, если бы авторы первоначального тестирования выложили настройки, с которыми проводилась проверка, и логи антивирусов, получившиеся при проверке, можно было бы судить объективнее, а так IMHO это тестирование сильно попахивает заказным результатом.

Если так, то тут действительно надо разбариться, почему результаты так разнятся. Базы adware/spyware в Virus Chaser скорее всего добавили, он на этой категории значительно лучше смотриться.

Многое бы, конечно, прояснили логи и перечень настроек (хотя автор пишет, что настройки были у всех антивирусов были максимальные, т.е. все что можно было включено).

На счет заказных результатов я бы усомнился, не думаю, что это надо virus.gr, все таки это довольно известный ресурс, им нет смысла рисковать репутацией.

[Михаил Кондрашин 55]

Уже много раз обсуждалась тема ITW- это копеешная колекция из нескольких сот вирусов, как по ней можно какие-то репрезентативные тесты ставить? VB100 - это в этом плане сильно преуспел, делая бабки на воздухе.

А части VB я, пожалуй, соглашусь. Что же касается ITW-вирусов, то я не согласен. В отличие от всех баз вирусов для которых различные "специалисты" (иногда и без кавычек) проводят тестирование, у ITW-коллекции есть здравая система обоснования --- это вирусы, которые были обнаружены более чем одним вендором, а значит кого-то заразили, а не только были присланы в лабораторию автором. Опуская дискуссию по поводу того, что кроме вирусов есть еще и другие виды угроз, замечу, что столь малый размер коллекции ITW является парадоксом. Именно эти 3000-4000 тыс. вирусов породили всю антивирусную индустрию! Все остальное --- это или не вирусы или никогда никого не заражало.

К сожалению, пока никто не повторил труд Джо Велса и Сары Гордон и не создал коллекции, аналогичные ITW для шпионского ПО, рекламного ПО и пр. Тогда можно было бы меньше спекулировать на тему базы для тестирования атнивирусов.

[VladB 60]

Уже много раз обсуждалась тема ITW- это копеешная колекция из нескольких сот вирусов, как по ней можно какие-то репрезентативные тесты ставить? VB100 - это в этом плане сильно преуспел, делая бабки на воздухе.

По поводу VB спору нет. Что же касается ITW, то на мой взгляд действительно интересно сравнивать на "боевой" коллекции вирусов которые не просто валяются с затертых времен, а имеют реальное хождение в последние полгода-год. Причем интересно то, что эти коллекции будут отличаться географически (то, что популярно в одном регионе, может не встречаться в другом ) Видел сам.