Методология теста проактивной антивирусной защиты (март 2009)

Тест проводился на специально подготовленном стенде под управлением VMware GSX Server. Для каждого антивирусного продукта клонировалась «чистая» виртуальная машина с операционной системой Microsoft Windows XP SP3.

В тестировании участвовали следующие антивирусные программы*:

  1. Agnitum Outpost Antivirus Pro 2009
  2. Avast! Professional Edition 4.8
  3. AVG Anti-Virus 8.0
  4. Avira AntiVir Premium 8.2
  5. BitDefender Antivirus 2009
  6. Dr.Web 5.0
  7. Eset Nod32 Anti-Virus 3.0
  8. F-Secure Anti-Virus 2009
  9. Kaspersky Anti-Virus 2009
  10. Panda Antivirus 2009
  11. Sophos Anti-Virus 7.6
  12. Norton Anti-Virus 2009
  13. Trend Micro Internet Security 2009
  14. VBA32 Personal 3.12

* Тестирование McAfee VirusScan Plus 2009 не завершено из-за технического сбоя.

При установке антивирусов производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

После подготовки тестового стенда создавались специальные условия для проверки эффективности работы эвристика. Для этого у всех антивирусов отключалась функция обновления, т.е. происходило замораживание антивирусных баз данных на дату начала теста (03.12.2008).

Через две недели после заморозки антивирусных баз (начиная с 18.12.2008) в "дикой природе" (In The Wild, далее ITW: корпоративные шлюзы, поступления в частные коллекции) начался отбор ITW-образцов вредоносных программ, который проходил ровно месяц. Новизна образцов определялась по отсутствию совпадений хешей по общей коллекции Anti-Malware.ru. Таким образом, обеспечивался отбор вредоносных программ, с высокой степенью вероятности еще неизвестных антивирусам на момент прекращения обновлений (заморозки антивирусных баз). В итоге была собрана коллекция из 5166 уникальных самплов вредоносных программ.

Важно! Разрыв в две недели между заморозкой антивирусных баз и началом сбора вредоносных программ был сделан намеренно, чтобы минимизировать возможность попадания в коллекцию образцов, известных какому-либо антивирусу.

В результате всех мероприятий моделировалась ситуация, при которой эффективность классических сигнатурных компонент защиты сводилась к нулю. В результате любое детектирование неизвестного по определению образца при простом сканировании по требованию могло осуществляться только проактивной эвристической компонентой, чего мы и хотели.

Сканирование по требованию производилось с максимально возможными настройками: включение эвристики (максимальный уровень), проверка всех файлов, обнаружение всех типов вредоносных и потенциально опасных программ.

В отличие от прошлого теста по многочисленным просьбам была сделана проверка антивирусов на ложные срабатывания. Для этого одновременно с накоплением коллекции вредоносных программ составлялась и коллекция чистых файлов. Для этого с сайта download.com скачивались дистрибутивы выложенных там программ. Полученные дистрибутивы распаковывались и из них отбирались только файлы exe и dll (уникальные по md5), остальные удалялись. В итоге была составлена коллекция из 15121 чистого файла.

Для определения уровня ложных срабатываний производилось сканирование по требованию полученной коллекции чистых файлов всеми тестируемыми антивирусами с точно такими же антивирусными базами и настройками, которые ранее были использованы для сканирования коллекции вредоносных программ.

Важно! Факты обнаружения в коллекции чистых файлов каких-либо "нежелательных программ" (spyware, adware, remote admin tools и т.е.) не учитывались как ложные срабатывания, так как степень опасности таких программ, как правило, вызывает много вопросов и определяется каждым вендором индивидуально - что опасно с точки зрения одного, то безопасно для другого.

В качестве приложения к тесту после его окончания проводилось обновление всех антивирусных программ, и делалась повторная проверка коллекции (через неделю после окончания основного тестирования). В результате фиксировалась скорость реакции вирусных лабораторий вендоров и эффективность работы классических сигнатурных методов обнаружения у каждого антивируса в дополнение к эвристике.

Шаги создания тестовой среды:

  1. Установка антивирусной программы на чистую машину;
  2. Перезагрузка системы;
  3. Проверка успешной установки и работоспособности всех модулей программы;
  4. Обновление антивирусной программы;
  5. Перезагрузка системы;
  6. Выключение функций обновления, отключения от сети Интернет (заморозка антивирусных баз);
  7. Сохранение образа виртуальной машины;
  8. Отключение виртуальной машины на 6 недель;
  9. Сбор тестовой коллекции вредоносных программ и чистых файлов (начало через 2 недели после п. 8).

Шаги проведения тестирования:

  1. Включение виртуальной машины через 4 недели после заморозки антивирусных баз;
  2. Проверка коллекции отобранных новых вредоносных программ сканером по требованию (настройки на автоматическое удаление обнаруженных объектов);
  3. Подсчет оставшихся образцов вредоносных программ после проверки коллекции;
  4. Проверка коллекции чистых файлов сканером по требованию (фиксирование ложных срабатываний);
  5. Обновление антивируса;
  6. Повторная проверка оставшихся в пункте 3 образцов.
  7. Подсчет оставшихся образцов после повторной проверки коллекции. 

Для каждой антивирусной программы выделялась отдельная чистая виртуальная машина – шаг 1. Для каждого антивируса создавалась своя копия коллекции вредоносных программ – шаг 9.

Если вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter, чтобы сообщить об этом редакции    Система Orphus

Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.