Методология теста антивирусов на быстродействие (май 2011)

Методология теста антивирусов на быстродействие (май 2011)

Введение

Данная методология теста является результатов совместной работы и интеллектуальной собственностью экспертного сообщества Anti-Malware.ru.

Открытое обсуждение методологии теста проводилось на нашем форуме в течение продолжительного времени до начала теста, когда каждый желающий мог внести свои предложения по предстоящему тесту.

В тестировании участвовали следующие антивирусные программы (представленные ниже сборки актуальны на момент начала тестирования - 05.03.2011):

  1. Avast Internet Security 6.0.1000.0
  2. AVG Internet Security 2011 10.0.0.1074 
  3.  Avira Premium Security Suite 10.0.0.592
  4. BitDefender Internet Security 2011 14.0.28.351
  5. Comodo Internet Security 5.3.181415.1237
  6. Dr.Web Security Space 6.00.1.01310
  7. Emsisoft Anti-Malware 5.1.0.0
  8. Eset Smart Security 4.2.67.10
  9. F-Secure Internet Security 2011 1.30.4220.0
  10. G DATA Internet Security 2011 (21.1.0.5)
  11. Kaspersky Internet Security 2011 11.0.2.556
  12. McAfee Internet Security 2011 4.5.147.0
  13. Microsoft Security Essentials 2.0.657.0
  14. Norton Internet Security 2011 18.1.0.37
  15. Outpost Security Suite Pro 7.1 3415.520.1247.404
  16. Panda Internet Security 2011 16.00.00
  17. PC Tools Internet Security 2011 1.0.0.58
  18. Trend Micro Titanium Internet Security 2011 3.0.0.1303
  19. VBA32 Personal 3.12 3.12.14.1
  20. ZoneAlarm Internet Security Suite 2010 9.3.37.0

Важно! После установки антивирусные программы обновлялись до актуального на момент проведения теста состояния, производились две принудительные перезагрузки системы и только после этого функции обновления отключались, чтобы избежать влияния на результаты измерений.

Также во избежание искажения результатов измерений отключались все задачи сканирования по расписанию. Если сделать это было невозможно, например, в случае проверки объектов автозапуска, то непосредственно перед началом измерений (записью образа системы) делалась техническая пауза для завершения этих задач (контролировалось через Process Explorer). Во время тестирования тестовый стенд был подключён к интернету, что позволяло продуктам использовать встроенные в них «облачные» технологии.

 

Описание среды тестирования

Перед началом теста производилась подготовка среды тестирования. Для этого на чистый компьютер была установлена операционная система Microsoft Windows 7 x86 со всеми доступными на этот момент обновлениями, а также дополнительное программное обеспечение, необходимое для теста.

Ниже представлены основные характеристики компьютера, на котором проводился тест (см. таблицу 1), и список установленного на нем программного обеспечения (см. таблицу 2).


Таблица 1: Платформа для проведения теста

Процессор Intel Core i5 650 3.2 ГГц
Материнская плата ASUS P7H55M
Видеокарта NVIDIA GeForсe 210
Оперативная память 4096 MB
Жесткие диски WD CWD 10EARS 00Y5B1
Hitachi HDP725040GLA360
Сеть

100 Мбит/сек Ethernet


Таблица 2: Список установленных программ

Операционная система Microsoft Windows 7 x86 со всеми обновлениями на момент теста
Установленные программы

Internet Explorer 8.0.7600.16385
Microsoft Word 2007
Microsoft Outlook 2007
Adobe Acrobat Reader 9.4.2
Adobe Photoshop CS5

AppTimer 
Performance Test 6.1
Windows Boot-Timer 
Process Explorer 

Настройки операционной системы Полный список сервисов на тестовом компьютере и их статус можно посмотреть здесь.

 

После установки операционной системы и всего необходимого программного обеспечении производились следующие действия:

  1. Отключение "паразитных" функций операционной системы, способных повлиять на результат теста (обновление, хранитель экрана, Windows Security Notification, Windows Firewall, Windows Defender, Prefetching).
  2. Запуск Windows Boot-Timer с отсрочкой перезагрузки системы.
  3. Создание образа "эталона" системы при помощи Acronis True Image.
  4. Формирование тестовой коллекции чистых файлов различного типа и размера (системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы).

Таким образом, был создан исходный образ системы, который использовался в качестве исходного/эталонного.

 

Лицензия на Acronis True Image  специально для этого теста была предоставлена Aflex Software , представителем компаний Acronis, Parallels, ASPLinux в России и СНГ.

Windows Boot-Timer – специальная утилита для измерения времени старта операционной системы Windows. Программа начинает измерять время после инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

AppTimer – специальная утилита PassMark Software для измерения времени старта приложений. Данная утилита использовалась с настройками по умолчанию.

 

Измерение скорости работы эталонной системы (без установки антивируса)

Для расчета замедления системы антивирусом необходимо измерить все параметры для эталонной системы. Для этого производились следующие действия:

  1. Восстановление системы из образа-эталона.
  2. Запись времени загрузки эталона (при помощи Windows Boot-Timer).
  3. Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла).
  4. Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
  5. Возврат к пункту 1 – повторение всего набора измерений (5 циклов).

Важно! Измерения всех параметров быстродействия и ресурсоемкости производилось 5 раз, результаты за вычетом граничных усреднялись. При этом для каждой итерации система возвращалась из образа, в данном случае из образа-эталона.

 

Измерение скорости загрузки системы с антивирусом

Время загрузки системы является одним из важных параметров ее работы. Для измерения времени загрузки системы использовалась утилита Windows Boot-Timer, которая позволяет измерять время с момента завершения инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

Каждый антивирус устанавливался на отдельный экземпляр эталонного образа системы, что создавало абсолютно одинаковые условия для всех испытуемых продуктов.

После установки каждого антивируса, обновления и нескольких технических перезагрузок производилась фиксация образа системы, что позволяло серьезно сэкономить время проведения теста.

 

Алгоритм измерений в этой части теста можно представить в следующем виде: 

  1. Восстановление системы из образа эталона.
  2. Установка антивируса и перезагрузка системы.
  3. Обновление антивируса.
  4. Запись настроек по умолчанию в сводную таблицу (проверка типов файлов, включенные модули и т.п.).
  5. Перезагрузка системы.
  6. Отключение функций автоматического обновления антивируса и отключение старта других задач по расписанию.
  7. Запуск Windows Boot-Timer (отсрочка перезагрузки системы).
  8. Создание образа системы с установленным антивирусом при помощи Acronis True Image (далее «образ с антивирусом»).
  9. Восстановление системы из вновь созданного образа (пункт 8).
  10. Запись времени загрузки (при помощи Windows Boot-Timer).
  11. Возврат к пункту 9 – повторение измерений (5 циклов).

 

Важно! Измерение времени загрузки системы производилось 5 раз, при этом перед каждым новым измерением система восстанавливалась до первоначального образа с установленным антивирусом (возврат к пункту 9). Результаты за вычетом граничных усреднялись.

 

Измерение скорости работы антивирусного монитора, сканера по требованию и влияния антивируса на старт офисных приложений

На этом этапе теста проверялось влияние антивирусного монитора (сканера on-access) на копирование файловой коллекции (папки с коллекцией чистых незараженных файлов) с одного на другой логический диск. Кроме этого проверялось время, затраченное на проверку антивирусным сканером (сканером on-demand) этой же файловой коллекции. Характеристики файлов смотрите в Приложении 1.

Для измерения влияния антивирусов на работу с офисными приложениями при помощи специальной утилиты AppTimer производилось измерение времени старта пяти типовых приложений:

  1. Internet Explorer 8.0.7600.16385
  2. Microsoft Word 2007
  3. Microsoft Outlook 2007
  4. Adobe Acrobat Reader 9.4.2
  5. Adobe Photoshop CS5

Для полноты картины проводилось измерение объема потребляемой оперативной памяти в состоянии покоя и при сканировании по требованию тестовой коллекции при помощи утилиты Process Explorer. Кроме этого измерялся уровень использования процессора в состоянии покоя и во время сканирования по требованию.

 

В данной части теста измерялись следующие показатели:

  1. Свободные системные ресурсы в состоянии покоя (5 циклов для каждого антивируса).
  2. Время копирования тестовой коллекции файлов, измерение времени (5 циклов для каждого антивируса). Откат системы после каждого прогона.
  3. Время сканирования тестовой коллекции файлов сканером по требованию (5 циклов для каждого антивируса). Откат системы после каждого прогона.
  4. Свободные системные ресурсы при копировании и сканировании тестовой коллекции (5 циклов для каждого антивируса).
  5. Время повторного сканирование тестовой коллекции сканером для определения эффективности работы технологий оптимизации проверки, использующихся в антивирусных продуктах. Для этого повторное сканирование производится после обычной перезагрузки системы, когда первое сканирование файлов уже произведено (1 цикл для каждого антивируса).
  6. Время старта офисных приложений (5 циклов для каждого антивируса). Откат системы после каждого сета.

 

Алгоритм измерений в этой части теста можно представить в следующем виде: 

  1. Восстановление системы из образа с антивирусом.
  2. Измерение свободных системных ресурсов в состоянии покоя.
  3. Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла) и свободных при этом системных ресурсов.
  4. Возврат к пункту 1 – повторение всего набора измерений (5 циклов).
  5. Восстановление системы из образа с антивирусом.
  6. Измерение времени сканирования тестовой коллекции файлов и свободных при этом системных ресурсов.
  7. * Однократное измерение времени повторного сканирования коллекции файлов.
  8. Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
  9. Возврат к пункту 5 – повторение всего набора измерений (5 циклов).

 

Важно! Измерение времени копирования, времени сканирования тестовой коллекции файлов, времени старта офисных программ и потребляемых в состоянии покоя ресурсов производилось 5 раз, при этом перед каждым новым измерением система восстанавливалась до первоначального образа с установленным антивирусом (возврат к пункту 1 или пункту 5). Результаты за вычетом граничных усреднялись.

 

Подведение итогов теста

Полученные в ходе тестирования данные нуждались в значительной обработке, которую можно разделить на несколько этапов:

  1. Фильтрация и усреднение результатов пяти измерительных итераций (была выбрана функция, при которой отбрасывались два крайних результата, а от трех оставшихся вычислялось среднее значение).
  2. Расчет замедлений системы с тем или иным антивирусом относительно эталона по каждому критерию.
  3. Нормирование результатов в процентах относительно эталонных значений.
  4. Формирование рейтингов быстродействия антивирусов для ключевых параметров.
  5. Награждение лучших антивирусов в соответствии с выбранной системой наград.

 


Приложение 1: Состав файловой коллекции 

Коллекция включала следующие файлы различного типа и размера: системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы. Всего 5031 файл 67 типов (по расширению), суммарный размер коллекции 5,7 Гб.

 

Состав файловой коллекции

 

Расширение Размер Распределено Процент Файлы
.dll 2364870,3 КБ 2368276,0 КБ 41,2% 2888
.exe 1409433,7 КБ 1410752,0 КБ 24,5% 939
.djvu 401891,4 КБ 401972,0 КБ 7,0% 37
.sys 288746,5 КБ 289724,0 КБ 5,0% 458
.pdf 259261,2 КБ 259284,0 КБ 4,5% 13
.mp3 247349,2 КБ 247404,0 КБ 4,3% 31
.jpg 199124,0 КБ 199256,0 КБ 3,5% 59
.avi 156655,8 КБ 156656,0 КБ 2,7% 1
.bak 112555,3 КБ 112640,0 КБ 2,0% 47
.cpl 30567,5 КБ 30600,0 КБ 0,5% 55
.qts 30319,0 КБ 30320,0 КБ 0,5% 3
.bpl 28990,5 КБ 29140,0 КБ 0,5% 80
.pif 26675,5 КБ 26680,0 КБ 0,5% 3
.pptx 20986,0 КБ 21020,0 КБ 0,4% 15
.ocx 20329,8 КБ 20388,0 КБ 0,4% 28
.ax 18127,1 КБ 18160,0 КБ 0,3% 20
.ppt 14794,0 КБ 14800,0 КБ 0,3% 4
.api 14621,0 КБ 14636,0 КБ 0,3% 5
.msi 13133,5 КБ 13140,0 КБ 0,2% 2
.rar 11278,7 КБ 11280,0 КБ 0,2% 2
.qtx 10192,0 КБ 10220,0 КБ 0,2% 15
.doc 9901,7 КБ 9912,0 КБ 0,2% 11
.htm 9490,5 КБ 9516,0 КБ 0,2% 11
.kdl 8382,5 КБ 8428,0 КБ 0,1% 21
.ppl 7985,8 КБ 8080,0 КБ 0,1% 50
.tbp 4047,5 КБ 4052,0 КБ 0,1% 2
.so 2740,8 КБ 2872,0 КБ 0,0% 74
.docx 2702,8 КБ 2704,0 КБ 0,0% 1
.setup 2472,0 КБ 2476,0 КБ 0,0% 1
.apl 2194,5 КБ 2196,0 КБ 0,0% 1
.pyd 2023,5 КБ 2024,0 КБ 0,0% 7
.cav 1879,2 КБ 1916,0 КБ 0,0% 12
.fmt 1047,5 КБ 1076,0 КБ 0,0% 15
.rsc 1009,0 КБ 1012,0 КБ 0,0% 4
.nls 762,6 КБ 768,0 КБ 0,0% 2
.scr 715,9 КБ 720,0 КБ 0,0% 3
.js 706,7 КБ 780,0 КБ 0,0% 37
.plugin 664,0 КБ 664,0 КБ 0,0% 5
.cab 628,8 КБ 632,0 КБ 0,0% 1
.fb2 604,6 КБ 608,0 КБ 0,0% 1
.ngr 604,0 КБ 604,0 КБ 0,0% 1
.acm 587,8 КБ 592,0 КБ 0,0% 9
.0 535,1 КБ 540,0 КБ 0,0% 2
.jar 508,0 КБ 508,0 КБ 0,0% 1
.rus 396,0 КБ 396,0 КБ 0,0% 4
.bin 396,0 КБ 396,0 КБ 0,0% 1
.crl 320,0 КБ 320,0 КБ 0,0% 1
.tsp 225,0 КБ 228,0 КБ 0,0% 1
.wcx 189,5 КБ 192,0 КБ 0,0% 2
.rll 152,0 КБ 160,0 КБ 0,0% 3
.wfx 136,0 КБ 136,0 КБ 0,0% 1
.nlr 104,0 КБ 104,0 КБ 0,0% 1
.mui 64,0 КБ 68,0 КБ 0,0% 3
.com 57,0 КБ 60,0 КБ 0,0% 3
.msc 40,2 КБ 44,0 КБ 0,0% 1
(отсутствует) 24,0 КБ 24,0 КБ 0,0% 3
.ico 22,0 КБ 24,0 КБ 0,0% 1
.wlx 20,5 КБ 24,0 КБ 0,0% 1
.xml 20,4 КБ 24,0 КБ 0,0% 1
.loc 13,3 КБ 16,0 КБ 0,0% 1
.vbs 3,4 КБ 4,0 КБ 0,0% 1
.bat 1,7 КБ 24,0 КБ 0,0% 6
.atr 0,4 КБ 32,0 КБ 0,0% 8
.lnk 0,3 КБ 4,0 КБ 0,0% 1
.sal 0,2 КБ 4,0 КБ 0,0% 1
.idx 0,2 КБ 32,0 КБ 0,0% 8
.m3u 0,1 КБ 4,0 КБ 0,0% 1
Всего:67 5744283 5751348 100 5031

Подпишитесь
в Facebook

Я уже с вами
Telegram AMПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и эксклюзивных материалах по информационной безопасности.
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.