Сергей Ильин

Сравнительное тестирование антивирусов на качество проверки

В этой теме 14 сообщений

Как видно из названия, суть теста - измерить detection rate.

Если кто не нашел, опубликован он здесь: http://www.anti-malware.ru/index.phtml?par...;anid=detection

Для этого на каждом тестируемом антивирусе запускалась задача сканирования по требованию каталога с огромным количеством вирусных экземпляров - более 90000 вирусов. Разбивка этой коллекции по категориям есть в большой таблице.

Тест проводится в апреле 2005 и был ранее опубликован на http://www.virus.gr, правда авторы не удосужились как-то проанализировать результаты, просто выложили голые данные.

Пропустим вводную часть, ее можно прочитать в статье, сразу к самому вкусному. Получены следующие результаты по обнаружению вредоносных программ:

Kaspersky Anti-Virus Personal Pro version 5.0.20 - 99.28%

F-Secure Anti-Virus 2005 version 5.10.450 - 97.55%

eScan Virus Control version 2.6.518.8 - 96.75%

Symantec Anti-Virus Corporate version 9.0.3.1000 - 91.64%

Norton Anti-Virus Professional version 2005 - 91.57%

McAfee VirusScan version 9.0.10 - 89.75%

BitDefender Anti-Virus version 8.0.137 - 88.13%

Panda Platinum 2005 Internet Security version 9.01.02 - 87.75%

RAV Anti-Virus (куплен Microsoft) version 8.6.105 - 87.26%

FRISK F-Prot Anti-Virus version 3.16b - 87.07%

Panda Titanium Anti-Virus version 4.01.02 - 86.27%

Trend Micro PC-Cillin 2005 version 12.1.1034 - 85.98%

Eset Nod32 version 2.12.4 - 85.66%

Authentium Command version 4.92.7 - 84.92%

H+BEDV AntiVir version 6.30.00.17 - 84.50%

Alwil avast! version 4.6.623 - 79.65%

Dr. Web version 4.32b - 78.71%

Sophos Sweep version 3.91 - 73.79%

UNA Anti-Virus version 1.83 - 73.49%

Norman Anti-Virus version 5.80.05 - 65.32%

Grisoft AVG version 7.0.308 - 54.07%

Computer Associates E-Trust Antivirus version 7.0.5.3 - 52.35%

ZoneAlarm (VET Antivirus) version 5.5.062.011 - 52.32%

VirusBuster 2005 version 5.0.147 - 51.51%

ClamWin version 0.83 - 48.44%

AhnLab V3 Pro 2004 - 38.87%

Теперь мои выводы

Первое место в данном сравнительном тестировании по праву занял Антивирус Касперского, итоговые 99.28% обнаруженных вирусов заслуживают оценки отлично. Немного подкачало детектирование макро-вирусов - 82.05% - это третий результат, лучшего сумели добиться McAfee VirusScan и RAV Anti-Virus.

Кроме того, F-Secure Anti-Virus и eScan Virus Control (второе и третье место соответственно) также используют антивирусный движок от Лаборатории Касперского по OEM соглашению. Небольшие различия в показателях детектирования не должны смущать, так как они являются следствием определенных настроек движка.

Следом за "тройкой от Лаборатории Касперского" расположились два продукта Symantec, чьи результаты детектирования незначительно отличаются друг от друга - чуть больше 91%.

Последним участником лидирующей тройки по качеству детектирования среди производителей стал McAfee, немного провалившись на категории malware, и менее чем на 2% отстав от своего главное конкурента в лице Symantec.

Далее чуть позади, довольно плотной группой, расположились BitDefender Anti-Virus, Panda Platinum, RAV Anti-Virus, FRISK F-Prot Anti-Virus, Panda Titanium Anti-Virus, Trend Micro PC-Cillin 2005, Eset Nod32, Authentium Command и H+BEDV AntiVir, чьи результаты лежат в интервале от 88% до 84%. При этом вся группа, за исключением может быть продуктов Panda Software, провалилась на категории malware. Во всех остальных категориях результаты оказались более менее близкие.

Второй российский представитель антивирусной индустрии - антивирус Доктор Веб показал себя крепким середнячком, уступив, например, H+BEDV AntiVir и Alwil avast!, результат - 78.71% (провал на категории malware).

Немного хуже показал результаты Украинский Национальный Антивирус UNA Anti-Virus, который лишь немного проиграл Доктору Вебу, показав себя лучше на категории malware, но "просев" на макро-вирусах.

Нижнюю часть таблицы, пожалуй, нет смысла комментировать подробно. Стоит только акцентировать внимание на довольно слабых результатах движка от Computer Associates: CA E-Trust и ZoneAlarm. Для последнего это особенно неприятно, ведь этот продукт очень популярен благодаря мощному firewall, и компании Check Point было не плохо дополнить его качественным антивирусом, но пока - увы, лишь 52% обнаруженных вирусов из тестовой коллекции.

Стоит отметить, что некоторые испытуемые антивирусы не детектировали и 20% коллекции, т.е., по сути, являются абсолютно бесполезными для антивирусной защиты компьютера. Полные результаты сравнительного тестирования (по всем антивирусам) можно скачать здесь.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В целом тестирование совпадает с теми выводами, которые себе сделал я. Приятно, что я не ошибся.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Какой глубокий смысл вы видите в том, чтобы выкладывать результаты тестирования таких древних версий продуктов?

У большинства из из них за минувший год произошла куча изменений как в функциональности, качестве, так и в скорости работы (причем не у всех со знаком +).

В-общем неактуально.

Видимо автору кроме как на копирования чужих изысканий годовалой давности мозгов не хватает.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Какой глубокий смысл вы видите в том, чтобы выкладывать результаты тестирования таких древних версий продуктов?

У большинства из из них за минувший год произошла куча изменений как в функциональности, качестве, так и в скорости работы (причем не у всех со знаком +).

В-общем неактуально.

Видимо автору кроме как на копирования чужих изысканий годовалой давности мозгов не хватает.

На счет актуальности теста:

1. Некоторый антивирусы действительно имеют уже более свежие версии, но изменения не критичные. Или вы дейтсвительно считаете, что с переходом, например Nod32 от 2.1 к 2.5 они стали на 20% лучше детектить что то? :-) Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Какие на Ваш взгляд изменения в качестве работы произвшли с апреля 2005 годы, привести хотя бы несколько примеров, очень интересно?

2. Тест сам по себе очень трудоемкий. Попробуйте поставить 58 антивирусов и погонять из большой базе. Пока будете его делать, кто-то из этих 58 100% выпустит новую версию.

К сожалению более свежих тестов я не видел. Когда появится - опубликуем из здесь.

Я лично доверяю результатам данного теста.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.
Людям свойственно ошибаться, а качество отлова "коллекционных" вирусов необходимо только для "показателей".

ITW - без комментариев, некоторые "лидеры" находятся почему-то в глубокой "Ж".

vir_result_2.gif

PS: Вы видели вирус под DOS ? ... Да :shock: .... и сколько лет назад ???

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Людям свойственно ошибаться, а качество отлова "коллекционных" вирусов необходимо только для "показателей".

ITW - без комментариев, некоторые "лидеры" находятся почему-то в глубокой "Ж".

Уже много раз обсуждалась тема ITW- это копеешная колекция из нескольких сот вирусов, как по ней можно какие-то репрезентативные тесты ставить? VB100 - это в этом плане сильно преуспел, делая бабки на воздухе.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Вы проверяли это лично или Вам это кто-то сказал?

Процитирую фрагмент новости о выходе версии 4.33:

"добавление новых типов антивирусных баз, предназначенных для детектирования шпионского и рекламного программного обеспечения (Spyware/Adware) , а также потенциально опасного программного обеспечения (Riskware)."

Адварь версия 4.33, в отличие от 4.32b ловит на ура.

Кроме того, в оригинале приведён несколько больший список антивирусов, в котором есть одна интересная строчка:

Virus Chaser version 5.0 - 88.31%

Эта строчка интересна тем, что данный антивирус сделан на движке Dr.Web и, естественно, использует те же базы. Такой разницы у двух антивирусов на одном движке с одинаковой вирусной базой быть не должно, по идее. ;)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
На счет актуальности теста:

1. Некоторый антивирусы действительно имеют уже более свежие версии, но изменения не критичные. Или вы дейтсвительно считаете, что с переходом, например Nod32 от 2.1 к 2.5 они стали на 20% лучше детектить что то? :-) Доктор Веб не будет при переходе на версию 4.33 лучше ловить DOS вирусы или malware и т.д.

Я так не считаю, я просто это знаю, в отличие от Вас. Что не делает Вам, как "специалисту", чести.

Какие на Ваш взгляд изменения в качестве работы произвшли с апреля 2005 годы, привести хотя бы несколько примеров, очень интересно?

Мне кажется, это задача Вашего портала доносить до нас, пользователей, всю информацию по антивирусным программам, в том числе и по нововведениям в них.

2. Тест сам по себе очень трудоемкий. Попробуйте поставить 58 антивирусов и погонять из большой базе. Пока будете его делать, кто-то из этих 58 100% выпустит новую версию.

К сожалению более свежих тестов я не видел. Когда появится - опубликуем из здесь.

Я лично доверяю результатам данного теста.

Зачем их тут публиковать? Вам нечем больше заполнить свой сайт, кроме как копированием чужих новостей, статей и тестов? Может быть Вы предложите посетителям сайта все-таки результаты своих личных изысканий?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мне кажется, это задача Вашего портала доносить до нас, пользователей, всю информацию по антивирусным программам, в том числе и по нововведениям в них.

Согласен, будем больше уделять этому внимания. Хотя справедливости ради стоит сказать, что "изменения на уровне движка" часто практически не освещаются вендорами. Попробуйте, например, достать из Доктора Веба информацию, какие новые пакера стали там поддерживаться в версии 4.33 :-) Или как конкретно была улучшена эвристика. Тоже самое и с Trend Micro, Касперским и т.д.

Зачем их тут публиковать? Вам нечем больше заполнить свой сайт, кроме как копированием чужих новостей, статей и тестов? Может быть Вы предложите посетителям сайта все-таки результаты своих личных изысканий?

Anti-malware.ru - это все таки не личная страничка на narod.ru, где можно раз в год что-то там публиковал, это независимый портал, нравится это кому или нет. И публиковаться здесь могут все, чьи материалы соответствуют тематике, уровню качества и интересны пользователям.

Сравнение уровня детектирования с virus.gr отвечает этим требованиям. На тех версиях были именно такие результаты.

Да, некоторые антивирусы уже имеют более свежие версии, следующее тестрирование по той же методике, покажет насколько эти свежие версии стали лучше в плане детектирования. Тем самым мы сможем смотреть резальтаты в динамике, что очень важно.

Вообще тема версия становится уже стандартной отмазкой производителей типа "это этот тест лажа, потому что тестировалась версия Х.123.234, а у нас тукущая уже Х.123.252 .... там такие изменения были ух ... мы реально первые должны быть." А с другой стороны сто им остается :D

Так все таки, блесните своими знаниями как профессионал.

Какие на Ваш взгляд изменения в качестве работы антивирусов произошли с апреля 2005 годы, привести хотя бы несколько примеров, очень интересно (из того что вышло в релиз, бета версий не надо)?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вы проверяли это лично или Вам это кто-то сказал?

Процитирую фрагмент новости о выходе версии 4.33:

"добавление новых типов антивирусных баз, предназначенных для детектирования шпионского и рекламного программного обеспечения (Spyware/Adware) , а также потенциально опасного программного обеспечения (Riskware)."

Адварь версия 4.33, в отличие от 4.32b ловит на ура.

Кроме того, в оригинале приведён несколько больший список антивирусов, в котором есть одна интересная строчка:

Virus Chaser version 5.0 - 88.31%

Эта строчка интересна тем, что данный антивирус сделан на движке Dr.Web и, естественно, использует те же базы. Такой разницы у двух антивирусов на одном движке с одинаковой вирусной базой быть не должно, по идее. ;)

Да, версия Доктора Веба 4.33 будет лучше смотреться, кто ж спорит. И движок там поправили и spyware базы добавили. Следующий тест непременно это должен показать.

На счет Virus Chaser, я признаться не знал, спасибо за информацию.

Кстати разница в детекте может быть, это реально. Вполне возможно, что движек докрутили, добавили свои базы (на malware он лучше смотриться). Ведь тот же F-Secure не идентичек Каспеоскому на 100%, на сколько я знаю, распаковщики например у них свои и эвристика другая.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Весь эвристик и упаковщики, насколько я знаю, у Dr.Web сидят в движке, так что подправить там ничего нельзя. (Хотя на форумах Dr.Web народ регулярно предлагал вынести упаковщики из движка в отдельный файл, чтобы можно было его обновлять вместе с базами, добавляя новые упаковщики). И ни один автор антивирусного движка не будет передавать при лицензировании исходные коды, которые можно было бы изменть - передаются только бинарники и API к ним. Единственное, что могли добавить в Virus Chaser - это дополнительные базы для adware/spyware, которые на тот момент были доступны для бета-тестеров, но это врядли - ни один здравомыслящий разработчик не будет добавлять в свой релиз модули, проходящие бета-тестирование. В общем, если бы авторы первоначального тестирования выложили настройки, с которыми проводилась проверка, и логи антивирусов, получившиеся при проверке, можно было бы судить объективнее, а так IMHO это тестирование сильно попахивает заказным результатом.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Весь эвристик и упаковщики, насколько я знаю, у Dr.Web сидят в движке, так что подправить там ничего нельзя. (Хотя на форумах Dr.Web народ регулярно предлагал вынести упаковщики из движка в отдельный файл, чтобы можно было его обновлять вместе с базами, добавляя новые упаковщики). И ни один автор антивирусного движка не будет передавать при лицензировании исходные коды, которые можно было бы изменть - передаются только бинарники и API к ним. Единственное, что могли добавить в Virus Chaser - это дополнительные базы для adware/spyware, которые на тот момент были доступны для бета-тестеров, но это врядли - ни один здравомыслящий разработчик не будет добавлять в свой релиз модули, проходящие бета-тестирование. В общем, если бы авторы первоначального тестирования выложили настройки, с которыми проводилась проверка, и логи антивирусов, получившиеся при проверке, можно было бы судить объективнее, а так IMHO это тестирование сильно попахивает заказным результатом.

Если так, то тут действительно надо разбариться, почему результаты так разнятся. Базы adware/spyware в Virus Chaser скорее всего добавили, он на этой категории значительно лучше смотриться.

Многое бы, конечно, прояснили логи и перечень настроек (хотя автор пишет, что настройки были у всех антивирусов были максимальные, т.е. все что можно было включено).

На счет заказных результатов я бы усомнился, не думаю, что это надо virus.gr, все таки это довольно известный ресурс, им нет смысла рисковать репутацией.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Уже много раз обсуждалась тема ITW- это копеешная колекция из нескольких сот вирусов, как по ней можно какие-то репрезентативные тесты ставить? VB100 - это в этом плане сильно преуспел, делая бабки на воздухе.

А части VB я, пожалуй, соглашусь. Что же касается ITW-вирусов, то я не согласен. В отличие от всех баз вирусов для которых различные "специалисты" (иногда и без кавычек) проводят тестирование, у ITW-коллекции есть здравая система обоснования --- это вирусы, которые были обнаружены более чем одним вендором, а значит кого-то заразили, а не только были присланы в лабораторию автором. Опуская дискуссию по поводу того, что кроме вирусов есть еще и другие виды угроз, замечу, что столь малый размер коллекции ITW является парадоксом. Именно эти 3000-4000 тыс. вирусов породили всю антивирусную индустрию! Все остальное --- это или не вирусы или никогда никого не заражало.

К сожалению, пока никто не повторил труд Джо Велса и Сары Гордон и не создал коллекции, аналогичные ITW для шпионского ПО, рекламного ПО и пр. Тогда можно было бы меньше спекулировать на тему базы для тестирования атнивирусов.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Уже много раз обсуждалась тема ITW- это копеешная колекция из нескольких сот вирусов, как по ней можно какие-то репрезентативные тесты ставить? VB100 - это в этом плане сильно преуспел, делая бабки на воздухе.

По поводу VB спору нет. Что же касается ITW, то на мой взгляд действительно интересно сравнивать на "боевой" коллекции вирусов которые не просто валяются с затертых времен, а имеют реальное хождение в последние полгода-год. Причем интересно то, что эти коллекции будут отличаться географически (то, что популярно в одном регионе, может не встречаться в другом ) Видел сам.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Антивирус Kyранина (Кuranin Antivirus Free 2017) - https://kuranin.org Тестируем на 315 свежих зловредах из разных источников: malc0de, cleanmx, vxvault и т. д.


      Антивирус реагирует практически на каждый вирус, удаляем - на остатке 4 файла. Запуск:



      Два раза эвристическая сработка, один раз - автоматическое удаление зловредного кода. При этом все запускаемые объекты представляли собой консольные приложения, последнее запустило несколько процессов, но антивирус их заблокировал. В поставку входит утилита для чистки реестра - сканирует и удаляем остаточный мусор... Итог: система абсолютно чистая и работает стабильно, сканирование Hitman Pro в лишний раз это подтвердило.
    • PR55.RP55
    • PR55.RP55
      И в uVS  явный косяк с анализом автозапуска. C:\WINDOWS\SYSWOW64\IHCTRL32.DLL C:\WINDOWS\SYSTEM32\IHCTRL32.DLL _________________________________________________ Полное имя                  C:\WINDOWS\SYSWOW64\IHCTRL32.DLL
      Имя файла                   IHCTRL32.DLL

       Сохраненная информация      на момент создания образа
      Статус                      [Запускался неявно или вручную]
      File_Id                     556EBE5498000
      Linker                      7.0
      Размер                      603648 байт
      Создан                      12.04.2017 в 20:44:02
      Изменен                     08.03.2017 в 07:22:45
                                  
      TimeStamp                   03.06.2015 в 08:44:04
      EntryPoint                  +
      OS Version                  5.0
      Subsystem                   Windows character-mode user interface (CUI) subsystem
      IMAGE_FILE_DLL              +
      IMAGE_FILE_EXECUTABLE_IMAGE +
      Оригинальное имя            DDDDDDDD.DLL
      Тип файла                   32-х битный ИСПОЛНЯЕМЫЙ
      Цифр. подпись               Отсутствует либо ее не удалось проверить
                                  
      Доп. информация             на момент обновления списка
      SHA1                        2428AE627F382A886C0C48F4748C0DB3FD943796
      MD5                         79283E53B76D96C869EF64241D5D2794
                                  
      Ссылки на объект            
      Prefetcher                  C:\WINDOWS\Prefetch\Layout.ini _________________________________________ Полное имя                  C:\WINDOWS\SYSTEM32\IHCTRL32.DLL
      Имя файла                   IHCTRL32.DLL
      Тек. статус                 сервисная_DLL в автозапуске [SVCHOST]
                                  
      Сохраненная информация      на момент создания образа
      Статус                      сервисная_DLL в автозапуске [SVCHOST]
      Инф. о файле                Не удается найти указанный файл.
      Цифр. подпись               проверка не производилась
                                  
      Ссылки на объект            
      Ссылка                      HKLM\System\CurrentControlSet\Services\ihctrl32\Parameters\ServiceDLL
      ServiceDLL                  %SystemRoot%\System32\ihctrl32.dll ____________________________________________ Полное имя                  C:\WINDOWS\SYSTEM32\WSAUDIO.DLL
      Имя файла                   WSAUDIO.DLL
      Тек. статус                 ?ВИРУС? ПОДОЗРИТЕЛЬНЫЙ сервисная_DLL в автозапуске [SVCHOST]
                                  
                               
      Сохраненная информация      на момент создания образа
      Статус                      сервисная_DLL в автозапуске [SVCHOST]
      Инф. о файле                Не удается найти указанный файл.
      Цифр. подпись               проверка не производилась
                                  
      Ссылки на объект            
      Ссылка                      HKLM\System\CurrentControlSet\Services\wsaudio\Parameters\ServiceDLL
      ServiceDLL                  %SystemRoot%\System32\wsaudio.dll
      ________________________________________________ А из лога FRST  видно, что... S2 wsaudio; C:\Windows\SysWOW64\wsaudio.dll [251392 2017-05-12] () [File not signed] 2017-06-25 15:31 - 2017-05-12 21:03 - 00251392 _____ C:\Windows\SysWOW64\wsaudio.dll             ------------ И какой вывод ? 1) Файл а втозапуске - но как бы и нет... SYSWOW64 SYSTEM32 2) Файл есть но uVS  его не видит...     Образ:    http://zalil.su/2930698 Тема: https://forum.esetnod32.ru/forum6/topic14098/ и таких тем ( по wsaudio.dll  уже за сотню ) Я уже об этом в  писал выше - а сейчас пишу подробно.                           
    • PR55.RP55
      Error: (06/25/2017 05:44:21 PM) (Source: Microsoft-Windows-LoadPerf) (EventID: 3011) (User: NT AUTHORITY)
      Description: При выгрузке строк счетчиков производительности для службы WmiApRpl (WmiApRpl) произошел сбой. Первое двойное слово (DWORD) в секции данных содержит код ошибки. Возможно что-то новое для WMI придумали.
      Во сяком случае это: KERNCAP.VBS в секции WMI --------- Полное имя                  KERNCAP.VBS
      Имя файла                   KERNCAP.VBS

      Сохраненная информация      на момент создания образа
      Статус                      в автозапуске ---------------- Образ: http://zalil.su/5444829
                                  
    • PR55.RP55
      Demkd https://forum.esetnod32.ru/forum6/topic14097/ Если сравнить записи в uVS и FRST то я не вижу в uVS записи: BootExecute: autocheck autochk * sh4native 7099sdnclean64.exe Запуск приложений через ключ реестра BootExecute http://hex.pp.ua/bootexecute.php Я так думаю, что можно исхитриться и чего нибудь да запустить.