Тест антивирусов на быстродействие (результаты)

[Сергей Ильин 1538]

Уважаемые коллеги!

Предлагаю вашему вниманию долгожданные результаты нашего нового теста антивирусов на быстродействие. Отчет о тестировании с основными цифрами и выводами как обычно опубликован на нашем сайте http://www.anti-malware.ru/performance

Напомню, что перед началом тестирования его методология открыто обсуждалась на нашем форуме.

Тест полностью проводился drongo, за что ему просто огромное спасибо и уважуха, отличная работа!

В ходе теста измерялось множество параметров быстродействия и ресурсоемкости антивирусов, но не все из них были проанализированы в итоговом отчете просто в силу его формата. Уверен, что подробные результаты теста, с которыми можно ознакомиться скачав файл в формате Excel, будут интересны для разработчиков и специалистов антивирусной индустрии.

При подведении итогов основное внимание было уделено следующим критериям:

1. Время загрузки операционной системы.

2. Размер потребляемой антивирусом памяти и уровень загрузки процессора.

3. Скорость копирования файлов (оценка быстродействия антивирусного монитора).

4. Скорость сканирования (оценка быстродействия антивирусного сканера).

5. Скорость запуска пяти распространенных офисных программ.

6. Скорость загрузки файла из Интернет.

Мы изменили традиционной системе оценок, в том числе по рекомендациям эксперного совета, и не стали выводить единый итоговый рейтинг и систему наград. Поэтому по критериям 1, 3, 4 и 5 в этот раз присуждались отдельные награды. В сумме получилось много медалей, что в чем-то символично для окончания олимпийских игр в Пекине

В данном случае мы представляем пользователям право самим решить, какие критерии быстродействия важны именно для них и выбрать для себя оптимальное решение.

Методология тестирования, включая версии продуктов и описание платформы

Основные результаты представлены ниже:

Лучшие антивирусы по степени влияния на скорость загрузки операционной системы

Gold Performance Award: System Startup

Avira, VBA32, Eset, Avast

Silver Performance Award: System Startup

Trend Micro, Panda, Outpost 2009, Kaspersky

Bronze Performance Award: System Startup

F-Secure, Sophos, McAfee

Без наград

AVG, Outpost 2008, Norton, Dr.Web

Самые быстрые антивирусные мониторы (on-access сканеры)

Platinum Performance Award: On-Access Scanning

Sophos

Gold Performance Award: On-Access Scanning

Eset, Avira

Silver Performance Award On-Access Scanning

Panda, Trend Micro, Dr.Web, Kaspersky, Avast, Norton, Outpost 2009

Bronze Performance Award On-Access Scanning

AVG

Без наград

F-Secure, McAfee, Outpost 2008, VBA32

Самые быстрые антивирусные сканеры по требованию (on-demand сканеры)

Platinum Performance Award: On-Demand Scanning

Panda

Gold Performance Award: On-Demand Scanning

Avira, Eset, Norton

Silver Performance Award: On-Demand Scanning

Trend Micro, Avast

Bronze Performance Award: On-Demand Scanning

Sophos, Kaspersky, F-Secure, Outpost 2009

Без наград

Outpost 2008, McAfee, Dr.Web, AVG, VBA32

Самые быстрые антивирусы для работы с офисными программами

Графиков много, лучше посмотреть их в отчете о тестировании.

Platinum Performance Award: Office Software

Avira

Gold Performance Award: Office Software

Eset, VBA32, Panda

Silver Performance Award Office Software

Dr.Web, Avast, AVG, Outpost 2009, Norton

Bronze Performance Award Office Software

F-Secure, Kaspersky

Без наград

Sophos, Outpost 2008, McAfee, Trend Micro

*****************************************************************

http://www.anti-malware.ru/performance

Кроме этого в отчете о тестировании приведены данные о используемой памяти, оптимизации сканирования (повторные проходы сканером), влиянии антивируса на скорость загрузки файла из сети.

Подробный отчет о тестировании http://www.anti-malware.ru/files/Performan...est_results.xls

[Umnik 997]

Думаю, и в ЛК и в Докторе будут недовольные. Положа руку на сердце - результаты удивили несколько. При том, что 7-ка у меня была "тормознее" 8-ки...

[Ego1st 95]

Единственное чего не нашел быстренько пролистав на глаз, это количество просканированных файлов антивирусом в этом тесте "Сравнение времени сканирования коллекции чистых файлов различными антивирусами" просто интересно на сколько кто в глубь копал во время сканирования..

[dot_sent 140]

Доктор в первом тесте перечислен как в списке "Bronze", так и в списке "Без наград" - поправьте.

[Deja_Vu 366]

Вообще ожидаемые результаты.

Да и ощущения при работе соответствуют результатам.

[TiX 0]

Наконец то )

[Umnik 997]

drongo, а можно получить лог GSI с тестового стенда?

Отредактировал Август 27, 2008 Umnik

[kvit 85]

Думаю, и в ЛК и в Докторе будут недовольные. Положа руку на сердце - результаты удивили несколько. При том, что 7-ка у меня была "тормознее" 8-ки...

я перед покупкой в компанию взял тестовый ключ на касперского и веба. пять подопотных кроликов и я в их числе месяц использовали месяц один антивирус и месяц другой. правда касперский был для корпоративных клиентов даже не 7, а 6. За исключением этих антивирусов, еще были nod и antivir которые достаточно "плотно" тестировались. Но выбирали именно из российских продуктов, поэтому последние шли вне зачета.

Так вот по "тактильным ощущениям" все соответствует данному тесту. Когда тут заявляли что многие будут удивлены результату - удивляться совершенно нечему. Я даже как то расстроился

[Umnik 997]

касперский был для корпоративных клиентов даже не 7, а 6

В 6.0.3.837 ядро 7-ки.

[Сергей Ильин 1538]

Думаю, и в ЛК и в Докторе будут недовольные. Положа руку на сердце - результаты удивили несколько.

Будут недовольны, радоваться особо нечему. ИМХО оба российских вендора недостаточно внимания уделяли повышению производительности продуктов. Например, ощущение тормознутости Доктора при старте ОС возникает без использования каких-либо измерительных приборов, слишком долго грузится компьютер. Задача сканирование под Касперским также идет не быстро в сравнении лидерами, 2009-я версия стала реально быстрее - это факт, но чтобы дотянуться до лидеров в скорости еще нужно поработать.

Единственное чего не нашел быстренько пролистав на глаз, это количество просканированных файлов антивирусом в этом тесте "Сравнение времени сканирования коллекции чистых файлов различными антивирусами" просто интересно на сколько кто в глубь копал во время сканирования..

Эти данные можно поднять, есть все логи. Попробуем с drongo консолидировать эту инфу.

Так вот по "тактильным ощущениям" smile.gif все соответствует данному тесту. Когда тут заявляли что многие будут удивлены результату - удивляться совершенно нечему. Я даже как то расстроился smile.gif

Согласен, многие результаты очень сходятся с ощущениями при работе с продуктами. Для тех, кто попробовал на своем компе пяток другой протестированных продуктов, результаты только подтверждают их собственные выводы.

Лично для меня откровением стала недосягаемая скорость антивирусного монитора Sophos и сканера Panda. Мог кто-то из вас это предвидеть?

[Олег777 85]

Какая Панда тестировалась?

Тестировал Панду 2009 (бета версия на данный момент), уступает по всем показателям даже бета-версии КИС 2009 образца 2007 года. Громоздкая и неповоротливая. Так что, сомнения...

[georgy_n 80]

недосягаемая скорость антивирусного монитора Sophos и сканера Panda

Сканер Panda всегда работал быстро и понятно за счет чего, хотя не замечал абсолютного лидерства в скорости. С Sophos действительно удивительно: продукт оставил двоякие впечатления - действие над зараженными объектами - только для очень неспешных и неторопливых людей плюс при выборе настроек продукта система просто встает в ступор на неск. секунд, а с монитором вон как. В целом, результаты действительно предсказуемые, солидарен с Вами, Сергей:

кто попробовал на своем компе пяток другой протестированных продуктов, результаты только подтверждают их собственные выводы.

[Сергей Ильин 1538]

Какая Панда тестировалась?

Методология тестирования, включая версии продуктов и описание платформы

[kvit 85]

Например, ощущение тормознутости Доктора при старте ОС возникает без использования каких-либо измерительных приборов, слишком долго грузится компьютер.

вот тут как раз вопрос... есть у доктора настройка (не знаю как в обычной версии, в ES в расписании) "Startup scan". так вот при включенной этой опции у меня проверяются все стартовые процессы, загрузочные сектора и запущенные процессы... естественно это всё значительно замедляет запуск антивируса, но стоит это отключить - и ситуация изменяется кардинально...

[Fil 0]

дождались...

хороший тест. результатами удовлетворён

[Иван 290]

ИМХО оба российских вендора недостаточно внимания уделяли повышению производительности продуктов. Например, ощущение тормознутости Доктора при старте ОС возникает без использования каких-либо измерительных приборов, слишком долго грузится компьютер. Задача сканирование под Касперским также идет не быстро в сравнении лидерами, 2009-я версия стала реально быстрее - это факт, но чтобы дотянуться до лидеров в скорости еще нужно поработать.

вы забываете, что не смогли придумать внятной методологии, которая бы учитывала технологии оптимизации, применяемые как в докторе, так и в каспере. после недели активного использования тот же каспер заметно выростает по скорости.

да и не забывайте, что тест на быстродействие надо смотреть одновременно с тестами на детект.

учитывая уровень детекта каспера, считаю что серебро на онаксесе и загрузке системы более, чем достойно

тем более, что

Таким образом, минимальное количество оперативной памяти потребляют антивирусы Avast, Avira и Антивирус Касперского. В состоянии покоя им достаточно от 10 до 30 Мб.

да и положа руку на сердце, разница во времени настолько минимальна

что даже и без технологий оптимизации не будет заметна пользователю

[kvit 85]

что даже и без технологий оптимизации не будет заметна пользователю

+1

если бы не vba (вот уж удивил (*)) - было бы похоже на квалы в формуле-1... разница на самом деле минимальна и очень не существенна...

(*) хотя тоже надо сделать оговорку, что нельзя их так прямолинейно считать: "В зависимости от настроек монитора значительно меняется быстродействие. В любом случае комплекс максимально оптимизирован так, что бы не мешать пользователю во время работы. И навряд ли в этом плане найдется кто либо шустрее...."

[Сергей Ильин 1538]

учитывая уровень детекта каспера, считаю что серебро на онаксесе и загрузке системы более, чем достойно

тем более, что

Полностью согласен. Результат Касперского, как других продуктов, получивших Серебро - высокий. Вообще получение награды, даже бронзовой означает достойный результат. Потом этот тест, как и любой другой, нельзя рассматривать в одиночку. Тестом быстродействия мы сделали еще один большой шаг на пути к комплексной оценке и рейтингу антивирусных продуктов.

[Andrew 0]

Единственное чего не нашел быстренько пролистав на глаз, это количество просканированных файлов антивирусом в этом тесте "Сравнение времени сканирования коллекции чистых файлов различными антивирусами" просто интересно на сколько кто в глубь копал во время сканирования..

А я не нашел - ставились ли продукты полностью или из состава выбирались только компоненты on-access и on-demand. Мне кажется нужно для on-demand делать два теста - полностью установленный продукт и при установке только одной компоненты on-demand

[Сергей Ильин 1538]

А я не нашел - ставились ли продукты полностью или из состава выбирались только компоненты on-access и on-demand. Мне кажется нужно для on-demand делать два теста - полностью установленный продукт и при установке только одной компоненты on-demand

Продукты ставились полностью с настройками по умолчанию, т.е. так, как это сделал бы пользователь. Единственное, что мы меняли - отключали запуск всех задач по расписанию (обновление, сканирование, так как они при старте могли существенно повлиять на результат).

На счет on-demand можно согласиться, если ставить целью тестировать по сути голую технологию. У теста были немного другие цели - показать влияния антивирусов на типовые операции в системе и сравнить скорости сканеров при одинаковых условиях. Последнее очень важно, поэтому учитывать в тесте, например, iChecker у Касперского нельзя. Мы можем лишь сказать (что и было сделано в отчете), что Касперский, Outpost и ВБА могут быть реально быстрее, но это ускорение зависит от очень многих параметров и сказать на сколько быстрее в рамках такого теста мы, увы, не можем.

[Andrew 0]

Продукты ставились полностью с настройками по умолчанию, т.е. так, как это сделал бы пользователь. Единственное, что мы меняли - отключали запуск всех задач по расписанию (обновление, сканирование, так как они при старте могли существенно повлиять на результат).

Согласен, тестировались продукты, а не технологии. Жалко, нет таких тестов для серверных продуктов

[Сергей Ильин 1538]

Жалко, нет таких тестов для серверных продуктов smile.gif

Возможно, они скоро появятся Тема востребована, чтобы не говорили некоторые.

[Winny 10]

Будут недовольны, радоваться особо нечему. ИМХО оба российских вендора недостаточно внимания уделяли повышению производительности продуктов. Например, ощущение тормознутости Доктора при старте ОС возникает без использования каких-либо измерительных приборов, слишком долго грузится компьютер.

При включенной расширенной защите проверяются в фоновом режиме все файлы, к которым было обращение.

При включенной проверке загружаемых программ и модулей в режиме реального времени они все проверяются.

Отсюда и тормоза.

Интересно сравнить количество проверенных при старте системы файлов у доктора и у других - я думаю, что всё станет ясно.

[drongo 25]

Спасибо за внимание и всем кто помогал советами и делом

Насчёт количества файлов- я был в начале в шоке, потом перестал обращать внимание. Просто каждый вендор по своему считает и понять что же он посчитал, а что нет осталось для меня загадкой.

Например:авира сообщила 8381 просканировано, хотя виндоус точно уверена там 10000 файлов.

Нод уверяет:8431

касперский : 9229

аваст 10557

и так далее

Eсли надо, могу сделать табличку Делать?

Было бы удобно для пользователя если бы все антивирусы считали также как же как виндоус. Если не ошибаюсь это был только оутпост.

Но я думаю они на это не пойдут. Не выгоднo, будут юзеры кричать почему мои файлы не посчитали, ваш антивирус дырявый

А так всегда можно сказать:наш антивирус считает по другому, контейнеры считает одним файлом, или наоборот распаковывает и каждого считает в зависимости от ситуации.

[dot_sent 140]

Возможно, они скоро появятся Тема востребована, чтобы не говорили некоторые.

Будет необходимо гораздо больше ресурсов как человеческих, так и технических, особенно для тестирования серверов под нагрузкой.