Методология теста антивирусов на быстродействие (август 2008)

Введение

Данная методология теста является результатов совместной работы и интеллектуальной собственностью экспертного сообщества Anti-Malware.ru. Открытое обсуждение методологии теста проводилось на нашем форуме в течении нескольких недель до его начала, в течении которых каждый желающий мог внести свои предложения по предстоящему тесту.

В тестировании участвовали следующие антивирусные программы:

  1. Avast Antivirus Professional 4.8
  2. AVG Anti-Virus & Anti-Spyware 8.0.131
  3. Avira Antivir Premium 8.1.00.331
  4. Dr.Web 4.44
  5. Eset Nod32 3.0.667.0
  6. F-Secure Anti-Virus 2008 (8.00 build 103)
  7. Kaspersky Anti-Virus 2009 (8.0.0.357a.b)
  8. McAfee VirusScan Plus 2008 (12.1)
  9. Outpost Antivirus Pro 2008 (6.0.2295.253.490.303)
  10. Outpost Antivirus Pro 2009 (6.5.2358.316.0607)
  11. Panda Antivirus 2008 (3.0.100)
  12. Sophos Anti-Virus 7.3.3
  13. Norton Antivirus 2008 (15.5.0.23)
  14. Trend Micro Antivirus plus Antispyware 2008 (16.10.1079)
  15. VBA32 WinNT Workstation 3.12.7 (beta)

Все антивирусы тестировались со стандартными настройками по умолчанию. Исключение составляет только запуск задач обновления или сканирования по расписанию, которые отключались в целях минимизации ошибок измерения.

BitDefender Anti-Virus 2008/2009 и Microsoft Windows Live OneCare 2.0 были исключены из теста по из-за отсутствия возможности их установки на тестовый компьютер (некорректная работа инсталлятора при работе через прокси-сервер).

Описание среды тестирования

Перед началом теста производилась подготовка среды тестирования. Для этого на чистый компьютер была установлена операционная система Microsoft Windows XP Pro Eng SP3 (+Multilingual User Interface) со всеми доступными на этот момент обновлениями, а также дополнительное программное обеспечение, необходимое для теста.

Ниже представлены основные характеристики компьютера, на котором проводился тест (см. таблицу 1), и список установленного на нем программного обеспечения (см. таблицу 2).

Таблица 1: Платформа для проведения теста

Процессор АMD Athlon 64, 1800 МГц 3000+
Материнская плата Winfast NF4UK8AA (Foxconn)
Видеокарта Nvideo GeForce 6600 (256 MB)
Оперативная память 1024 Мб
Жесткий диск 160 Гб (WDC WD1600JD-00GBB0)
Сеть

100 Мбит/сек Ethernet


Таблица 2: Список установленных программ

Операционная система Microsoft Windows XP Pro Eng SP3 (+MUI) со всеми обновлениями на момент теста
Установленные программы

DirectX 9c
Internet Explorer 7.0.5730.13
Microsoft Office Word 2003 (11.8215.8202) SP3
Microsoft Outlook 2003 (11.8215.8202) SP3
Adobe Acrobat Reader 8.1.2
Adobe Photoshop C3 Extended 10.0.1

AppTimer
Performance Test 6.1
Windows Boot-Timer
Process Explorer

Подробный список установленных на компьютере программ смотрите здесь.

Настройки операционной системы Полный список сервисов на тестовом компьютере и их статус можно посмотреть здесь.

После установки операционной системы и всего необходимого программного обеспечении производились следующие действия:

  1. Отключение "паразитных" функций операционной системы, способных повлиять на результат теста (обновление, хранитель экрана, Windows Security Notification, Windows Firewall, Windows Defender, Prefetching).
  2. Запуск Windows Boot-Timer с отсрочкой перезагрузки системы.
  3. Создание образа "эталона" системы при помощи Acronis True Image.
  4. Формирование тестовой коллекции чистых файлов различного типа и размера (системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы).

Таким образом, был создан исходный образ системы, который будет использоваться в качестве исходного/эталонного.

Лицензия на Acronis True Image специально для этого теста была предоставлена Aflex Software, представителем компаний Acronis, Parallels, ASPLinux в России и СНГ.

Windows Boot-Timer – специальная утилита для измерения времени старта операционный системы Windows. Программа начинает измерять время после инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

Измерение скорости работы эталонной системы (без установки антивируса)

Для расчета замедления системы антивирусом необходимо измерить все параметры для эталонной системы. Для этого производились следующие действия:

  1. Восстановление системы из образа эталона.
  2. Запись времени загрузки (при помощи Windows Boot-Timer).
  3. Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла).
  4. Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
  5. Измерение времени скачивания файла по протоколу HTTP.
  6. Возврат к пункту 1 – повторение всего набора измерений (5 циклов).

Важно! Здесь и далее измерения всех параметров быстродействия и ресурсоемкости производилось 5 раз. При этом для каждой итерации система возвращалась из образа, в данном случае из образа эталона.

Подробнее смотри Приложение 1 и Приложении 2.

Измерение скорости загрузки системы с антивирусом

Каждый антивирус устанавливался на эталонный образ системы, что создавало абсолютно одинаковые условия для всех испытуемых продуктов. После установки каждого антивируса производилась фиксация образа системы, что позволяло серьезно сэкономить время проведения теста. Алгоритм измерений этой части можно представить в таком виде:

  1. Восстановление системы из образа эталона.
  2. Установка антивируса и перезагрузка системы.
  3. Обновление антивируса.
  4. Запись настроек по умолчанию в сводную таблицу (проверка HTTP, проверка типов файлов, включенные модули и т.п.).
  5. Перезагрузка системы.
  6. Отключение функций автоматического обновления антивируса и отключение старта других задач по расписанию.
  7. Запуск Windows Boot-Timer (отсрочка перезагрузки системы).
  8. Создание образа системы с установленным антивирусом при помощи Acronis True Image (далее «образ с антивирусом»).
  9. Восстановление системы из вновь созданного образа (пункт 8).
  10. Запись времени загрузки (при помощи Windows Boot-Timer).
  11. Возврат к пункту 9 – повторение измерений (5 циклов).

Измерение времени копирования тестовой коллекции файлов, скорости сканирования антивирусом и других параметров производительности

  1. Восстановление системы из образа с антивирусом.
  2. Измерение времени копирования тестовой коллекции файлов (при помощи специального BAT-файла).
  3. Возврат к пункту 1 – повторение всего набора измерений (5 циклов).
  4. * Однократное измерение времени повторного сканирования коллекции файлов.
  5. Восстановление системы из образа с антивирусом.
  6. Измерение времени сканирования тестовой коллекции файлов.
  7. Измерение времени запуска пяти офисных программ (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop).
  8. Измерение времени загрузки файла по протоколу HTTP.
  9. Измерение параметров производительности при помощи программы Performance Test.
  10. Возврат к пункту 5 – повторение всего набора измерений (5 циклов).

Подробнее смотри Приложение 1 и Приложение 2.

Подведение итогов теста

Полученные в ходе тестирования данные нуждались в значительной обработке, которую можно разделить на несколько этапов:

  1. Фильтрация и усреднение результатов пяти измерительных итераций (была выбрана функция, при которой отбрасывались два крайних результата, а от трех оставшихся вычислялось среднее значение).
  2. Расчет замедлений системы с тем или иным антивирусом относительно эталона по каждому критерию.
  3. Нормирование результатов в процентах относительно эталонных значений.
  4. Формирование рейтингов быстродействия антивирусов для ключевых параметров.
  5. Награждение лучших антивирусов в соответствии с выбранной системой наград.

 


Приложение 1: Детали измерений

1. Измерение времени загрузки самой системы (Boot-time)

Время загрузки системы является одним из важных параметров ее работы. Для измерения времени загрузки системы использовалась утилита Windows Boot-Timer, которая позволяет измерять время с момента завершения инициализации BIOS и до полной загрузки системы (со всеми автоматически стартующими процессами).

Для эталона и для каждого антивируса было произведено 5 попыток измерения времени загрузки системы. Результаты за вычетом граничных усреднялись.

2. Измерение скорости работы антивирусного монитора и сканера по требованию

Проверялось влияние антивирусного монитора (сканера on-access) на копирование файловой коллекции (папки с коллекцией чистых незараженных файлов) на другой логический диск. Кроме этого проверялось время, затраченное на проверку антивирусным сканером (сканером on-demand) этой же файловой коллекции.

Коллекция включала следующие файлы различного типа и размера: системные файлы Windows, файлы установленных программ, дистрибутивы, документы, медиафайлы и архивы. Всего 4000 файлов ста тридцати типов (по расширению), суммарный размер коллекции 2,3 Гб. Более подробные характеристики файлов см. в Приложении 2.

Состав файловой коллекции

В ходе измерений было сделано следующее

  1. Копирование тестовой коллекции файлов, измерение времени (всего 5 циклов). Откат системы после каждого прогона.
  2. Проверка тестовой коллекции файлов сканером по требованию (всего 5 циклов). Откат системы после каждого прогона.
  3. * Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации проверки, использующихся в антивирусных продуктах (факультативно). Для этого повторное сканирование производится после обычной перезагрузки системы, когда первое сканирование файлов уже произведено.

3. Измерение скорости загрузки файлов по протоколу HTTP и старта типовых офисных приложений

Для измерения влияния антивирусного монитора на работу с ресурсами сети Интернет производились измерения скорости загрузка файла формата ZIP (размер файла 208 376 Кб) на тестовый компьютер по протоколу HTTP с другого (вспомогательного) компьютера в локальной сети. При этом в целях минимизации постороннего трафика от локальной сети отключались любые другие устройства, а также внешний канал выхода в Интернет.

Для измерения влияния антивирусов на работу с офисными приложениями производилось измерение времени старта типовых приложений (Microsoft Internet Explorer, Microsoft Office Word, Microsoft Outlook, Adobe Acrobat Reader, Adobe Photoshop) при помощи специальной утилиты AppTimer.

Так же, как и в случае других измерений, измерения на эталонной системе и с каждым антивирусом производилось 5 раз, а время загрузки, за исключением граничных значений, усреднялось.

4. Измерение влияния антивирусов на потребление системных ресурсов в состоянии покоя

Для полноты картины проводилось измерение объема потребляемой оперативной памяти в состоянии покоя и при сканировании по требованию тестовой коллекции при помощи утилиты Process Explorer. Кроме этого измерялся уровень использования процессора в состоянии покоя и во время сканирования по требованию.

 


 

Приложение 2: Состав файловой колекции

Extension              Number of files       %    Space used       %
====================== =============== ======= ============= =======
.DLL                             1,867    46.7   464,183,967    20.0
.EXE                               469    11.7   130,959,392     5.6
.JPG                               417    10.4   377,334,335    16.2
.SYS                               199     5.0    20,430,607     0.9
.NLS                               127     3.2    10,712,020     0.5
.DOC                               106     2.7    11,898,368     0.5
.GIF                                53     1.3       203,314     0.0
.POT                                46     1.1     3,204,608     0.1
.AX                                 35     0.9     7,147,039     0.3
.WMF                                32     0.8       103,040     0.0
.CPL                                26     0.7     4,266,264     0.2
.OCX                                24     0.6     6,122,114     0.3
.MIB                                20     0.5       491,404     0.0
.INI                                18     0.5     1,664,031     0.1
.IME                                18     0.5     2,780,215     0.1
.TLB                                17     0.4     2,091,676     0.1
.MSC                                17     0.4       692,244     0.0
.DRV                                17     0.4     1,062,176     0.0
.RAR                                16     0.4   180,269,287     7.8
.TXT                                16     0.4       330,174     0.0
.MP3                                15     0.4   111,100,711     4.8
.XLS                                15     0.4       346,624     0.0
.WPL                                15     0.4        16,359     0.0
.COM                                14     0.4       303,497     0.0
.DAT                                14     0.4    10,023,176     0.4
.WAV                                14     0.4     1,944,472     0.1
.INF                                13     0.3       161,637     0.0
.VBS                                12     0.3       695,217     0.0
.ACM                                11     0.3     1,342,464     0.1
.XML                                11     0.3       835,059     0.0
.H                                  11     0.3        17,729     0.0
.SCR                                11     0.3     2,739,200     0.1
.DOT                                11     0.3     1,070,524     0.0
.PNG                                10     0.3     9,959,433     0.4
.PDF                                10     0.3    11,101,390     0.5
.CHM                                10     0.3     4,450,658     0.2
.CAT                                 9     0.2     2,321,691     0.1
.PIP                                 8     0.2        12,604     0.0
.UCE                                 8     0.2       246,198     0.0
.ZIP                                 8     0.2    29,838,027     1.3
.RTF                                 8     0.2     1,235,036     0.1
.OLB                                 8     0.2     1,860,864     0.1
.SDB                                 7     0.2     6,631,388     0.3
.MANIFEST                            7     0.2         4,721     0.0
.HLP                                 7     0.2       404,055     0.0
.ACG                                 7     0.2       799,422     0.0
.ACS                                 7     0.2    13,653,050     0.6
.TSP                                 7     0.2       686,592     0.0
.BMP                                 7     0.2     6,834,496     0.3
.AVI                                 7     0.2   782,868,116    33.7
.WIZ                                 6     0.2     1,415,591     0.1
.HTM                                 5     0.1        43,519     0.0
.WMV                                 5     0.1     2,088,077     0.1
.LEX                                 5     0.1     7,677,457     0.3
.NVU                                 5     0.1        22,869     0.0
.PPT                                 4     0.1     7,411,200     0.3
.FON                                 4     0.1        62,816     0.0
.TTF                                 4     0.1       318,780     0.0
.DDT                                 4     0.1     2,097,248     0.1
.SEP                                 4     0.1         6,956     0.0
.MDE                                 3     0.1    15,523,840     0.7
.MUI                                 3     0.1     1,613,832     0.1
.ROM                                 3     0.1        55,443     0.0
.JS                                  3     0.1        16,036     0.0
.SIG                                 3     0.1        15,369     0.0
.BIN                                 3     0.1    13,155,262     0.6
.TGZ                                 3     0.1        28,874     0.0
.LOG                                 3     0.1       128,034     0.0
.URL                                 3     0.1           210     0.0
.ICO                                 3     0.1        15,586     0.0
.DEU                                 3     0.1     1,524,521     0.1
.ENU                                 3     0.1     1,023,680     0.0
.ESN                                 3     0.1       835,253     0.0
.FRA                                 3     0.1       901,629     0.0
.ITA                                 3     0.1       952,947     0.0
.NLD                                 3     0.1     1,174,425     0.1
.SVE                                 3     0.1     1,017,203     0.0
.MDT                                 2     0.1     8,798,208     0.4
.NT                                  2     0.1         4,265     0.0
.RLL                                 2     0.1       114,688     0.0
.WMZ                                 2     0.1       251,684     0.0
.CSS                                 2     0.1        11,356     0.0
.CMD                                 2     0.1         1,648     0.0
.LXA                                 2     0.1     1,248,767     0.1
.CNT                                 2     0.1         5,704     0.0
.COD                                 1     0.0        64,352     0.0
.WSC                                 1     0.0        40,505     0.0
.TMP                                 1     0.0         2,577     0.0
.CTY                                 1     0.0       129,045     0.0
.VXD                                 1     0.0            81     0.0
.CPI                                 1     0.0       127,213     0.0
.HXX                                 1     0.0         6,708     0.0
.DLS                                 1     0.0     3,440,660     0.1
.PRO                                 1     0.0        21,232     0.0
.PPS                                 1     0.0     1,052,672     0.0
.IEC                                 1     0.0       369,664     0.0
.NFO                                 1     0.0            45     0.0
.SQL                                 1     0.0       956,990     0.0
.OFT                                 1     0.0        12,288     0.0
.TSK                                 1     0.0         1,152     0.0
.ASI                                 1     0.0       125,952     0.0
.DEP                                 1     0.0           335     0.0
.PPD                                 1     0.0         6,829     0.0
.IMG                                 1     0.0        67,866     0.0
.CHS                                 1     0.0         1,696     0.0
.CHT                                 1     0.0         1,696     0.0
.ENG                                 1     0.0           751     0.0
.THA                                 1     0.0           697     0.0
.RSP                                 1     0.0         4,310     0.0
.MPG                                 1     0.0     8,736,768     0.4
.LDL                                 1     0.0        81,712     0.0
.QTS                                 1     0.0     4,474,368     0.2
.OPS                                 1     0.0         2,664     0.0
.RAT                                 1     0.0         3,167     0.0
.ICM                                 1     0.0       218,103     0.0
.SDF                                 1     0.0           888     0.0
.SPD                                 1     0.0     1,685,606     0.1
.MMF                                 1     0.0           984     0.0
NONE                                 1     0.0           862     0.0
.DB                                  1     0.0         5,120     0.0
.MDA                                 1     0.0       479,232     0.0
.SCF                                 1     0.0            75     0.0
.TRM                                 1     0.0         4,096     0.0
.MSI                                 1     0.0     1,326,080     0.1
.MOD                                 1     0.0         2,080     0.0
.ADM                                 1     0.0        67,374     0.0
.HTA                                 1     0.0        10,457     0.0
.CNV                                 1     0.0        53,248     0.0
.XSL                                 1     0.0        10,217     0.0
.DJVU                                1     0.0     1,560,477     0.1
---------------------- --------------- ------- ------------- -------
TOTAL (130 extensions)           4,000   100.0 2,324,172,556   100.0

 

 

ВложениеРазмер
Image icon file_types.gif33.52 КБ
HTML icon services.html74.07 КБ
Microsoft Office document icon list_of_installed_programes.doc27.5 КБ

Подпишитесь
в Facebook

Я уже с вами
Telegram AMПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и эксклюзивных материалах по информационной безопасности.
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.