Тест антивирусов на обнаружение полиморфных вирусов (февраль 2008)

Полиморфные вредоносные программы (далее вирусы), использующие технику полиморфизма для затруднения своего обнаружение, всегда являлись наиболее сложными для обнаружения антивирусами. Полиморфизм вируса заключается в формировании кода вируса "на лету" - уже во время исполнения, при этом сама процедура, формирующая код также может быть непостоянной и видоизменяться при каждом новом заражении. Таким образом, можно говорить, что полиморфные вирусы имеют способность полностью менять себя при каждом новом заражении, образуя многообразие образцов одного и того же вируса. (Подробнее о полиморфизме можно прочитать здесь).

При проверке находящихся на компьютере файлов классическим способом производится поиск соответствий определенной сигнатуре (вирусному следу). Если изменить код вируса, на который была сделана сигнатура, то обнаружить его данной сигнатурой уже будет невозможно.

Подобные изменения полиморфный вирус делает в любой своей части.
Для обнаружения полиморфных вирусов, как правило, используются специально разрабатываемые для каждого полиморфного вируса алгоритмы обнаружения. Цель данного теста – проверить качество работы специальных алгоритмов по обнаружению современных полиморфных вирусов.

Кроме этого качество обнаружения полиморфных вирусов, как наиболее сложных, может косвенно свидетельствовать об уровне профессионализма антивирусных специалистов. Им необходимо не только тщательно проанализировать сложнейшие образцы вирусов, но и выработать надежные процедуры и методы по их 100% обнаружению.

Методология проведения теста »

Анализ результатов теста и награды »

 

Результаты тестирования

Gold Anti-Polymorphic Protection Award
Gold Anti-Polymorphic
Protection Award

Скачать изображение GIF (500х500px)
Avira Antivir Personal Edition Classic 7.06
(31 из 33 баллов)
F-Secure Anti-Virus 2008 (31 из 33 баллов)
Kaspersky Anti-Virus 7.0 (31 из 33 баллов)
Silver Anti-Polymorphic Protection Award
Silver Anti-Polymorphic
Protection Award

Скачать изображение GIF (500х500px)
Avast Professional Edition 4.7 (25 из 33 баллов)
AVG Anti-Virus Professional Edition 7.5
(22 из 33 баллов)
DrWeb 4.44 (21 из 33 баллов)
Eset Nod32 Antivirus 3.0 (20 из 33 баллов)
Bronze Anti-Polymorphic Protection Award
Bronze Anti-Polymorphic
Protection Award

Скачать изображение GIF (500х500px)
Microsoft Windows Live OneCare 2.0 Pre-Release
(19 из 33 баллов)
Trend Micro Antivirus plus Antispyware 2008
(18 из 33 баллов)
Symantec Anti-Virus 2008 (17 из 33 баллов)
BitDefender Anti-Virus 2008 (16 из 33 баллов)
Agnitum Outpost Security Suite Pro 2008
(15 из 33 баллов)
Sophos Anti-Virus 7.0 (14 из 33 баллов)
Panda Antivirus 2008 (14 из 33 баллов)
VBA32 Workstation 3.12.6 (14 из 33 баллов)
Тест провален McAfee VirusScan 2008 (11 из 33 баллов)

 

 

Введение

В тестировании участвовали следующие антивирусные программы:

  1. Agnitum Outpost Security Suite Pro 2008
  2. Avast Professional Edition 4.7
  3. AVG Anti-Virus Professional Edition 7.5
  4. Avira Antivir Personal Edition Classic 7.06
  5. BitDefender Anti-Virus 2008
  6. DrWeb 4.44
  7. Eset Nod32 Antivirus 3.0
  8. F-Secure Anti-Virus 2008
  9. Kaspersky Anti-Virus 7.0
  10. McAfee VirusScan 2008
  11. Microsoft Windows Live OneCare 2.0 Pre-Release
  12. Panda Antivirus 2008
  13. Sophos Anti-Virus 7.0
  14. Symantec Anti-Virus 2008
  15. Trend Micro Antivirus plus Antispyware 2008
  16. VBA32 Workstation 3.12.6

Тест проведен на 11 семействах полиморфных вирусов, каждое из которых имеет свои функциональные особенности. Начальный набор образцов и итоговая тестовая коллекция сформированы в строгом соответствии с определенными требованиями.

Сформированные для теста семейства полиморфных вирусов:

  1. Allaple.1, Allaple.2, Allaple.3, Allaple.4
  2. Alman.1, Alman.2
  3. Twido.1, Twido.2
  4. Virut.2, Virut.3, Virut.4

Тест проводился на машине под операционной системой Windows XP SP2 в период с 15 января по 20 февраля 2007 года в полном соответствии с методологией.

 

Результаты теста антивирусов на обнаружение полиморфных вирусов

В таблицах 1-2 представлены результаты обнаружения различных семейств полиморфных вирусов антивирусными программами.

 

Таблица 1: Уровень обнаружения различных семейств полиморфных вирусов (начало)

Антивирус \
Семействовирусов
Allaple.1 Allaple.2 Allaple.3 Allaple.4 Alman.1 Alman.2
Agnitum 99.92% 99.72% 98.19% 99.21% 99.48% 99.01%
Avast 99.96% 99.89% 99.32% 93.81% 99.90% 100.00%
AVG 100.00% 99.90% 100.00% 99.75% 100.00% 100.00%
Avira 100.00% 100.00% 100.00% 100.00% 100.00% 100.00%
BitDefender 99.84% 99.72% 93.11% 93.48% 98.74% 98.61%
DrWeb 100.00% 99.88% 99.77% 93.69% 100.00% 100.00%
Eset 100.00% 99.99% 98.31% 99.48% 100.00% 100.00%
F-Secure 100.00% 100.00% 100.00% 99.98% 100.00% 100.00%
Kaspersky 100.00% 100.00% 100.00% 99.98% 100.00% 100.00%
McAfee 99.73% 99.77% 96.16% 99.16% 96.96% 100.00%
Microsoft 99.92% 99.93% 98.76% 99.64% 100.00% 100.00%
Panda Security 100.00% 99.87% 97.63% 96.20% 99.90% 99.80%
Sophos 100.00% 99.39% 78.98% 71.89% 99.69% 100.00%
Symantec 99.53% 99.51% 90.40% 91.26% 99.16% 99.80%
Trend Micro 100.00% 100.00% 100.00% 100.00% 99.90% 100.00%
VBA 99.49% 99.51% 92.2%% 94.06% 77.91% 100.00%
Образцов в семействе:
2569 8240 885 4785 955 504

 

Таблица 2: Уровень обнаружения различных семейств полиморфных вирусов (окончание)

Антивирус \
Семействовирусов
Twido.1
Twido.2
Virut.2
Virut.3
Virut.4
Agnitum 0.00% 0.00% 99.10% 96.31% 98.74%
Avast 100.00% 100.00% 100.00% 99.33% 99.67%
AVG 98.04% 0.24% 99.64% 98.64% 99.23%
Avira 100.00% 100.00% 100.00% 99.90% 99.51%
BitDefender 97.70% 0.00% 100.00% 99.23% 99.23%
DrWeb 99.93% 88.05% 99.82% 98.34% 99.01%
Eset 97.97% 0.00% 100.00% 98.36% 98.47%
F-Secure 100.00% 99.67% 100.00% 100.00% 100.00%
Kaspersky 100.00% 99.67% 100.00% 100.00% 100.00%
McAfee 11.01% 0.00% 23.65% 40.25% 13.10%
Microsoft 100.00% 100.00% 53.25% 77.93% 13.97%
Panda Security 11.48% 0.00% 97.11% 98.36% 97.48%
Sophos 19.99% 21.63% 99.46% 90.63% 96.99%
Symantec 0.00% 0.00% 100.00% 91.49% 100.00%
Trend Micro 0.00% 0.00% 98.01% 67.80% 40.33%
VBA 99.12% 0.16% 97.47% 94.61% 96.27%
Образцов в семействе:
1481
1230
554
6757
1825

 

Рисунок 1: Качество защиты от вирусов семейства Allaple

100% защиты от вирусов семейства Allaple могут обеспечить только Avira и Trend Micro.

 

Рисунок 2: Качество защиты от вирусов семейства Alman

100% защиты от вирусов семейства Alman могут обеспечить Avira, Kaspersky, Eset, Avast, DrWeb, F-Secure и Microsoft.

 

Рисунок 3: Качество защиты от вирусов семейства Twido

100% защиты от вирусов семейства Twido могут обеспечить Avira, Avast и Microsoft.

 

Рисунок 4: Качество защиты от вирусов семейства Virut

100% защиты от вирусов семейства Virut могут обеспечить Kaspersky и F-Secure.

 

Как видно, у многих антивирусов существуют большие проблемы с качеством обнаружения полиморфных вирусов семейств Twido.2, Twido.1 и Virut.4. На первых двух семействах провалилось 11 из 15 протестированных антивирусов.

Наиболее легкими для обнаружения оказались семейства Alman.2, Allaple.1 и Allaple.2, на которых все протестированные антивирусы показали уровень детектирования выше 90%.

 

Награждение победителей

Согласно используемой схеме награждения, для подведения итогов и награждения победителей представленные в таблицах 1-2 результаты по качеству обнаружения необходимо пересчитывать в баллы. При этом 3 балла начисляется, если антивирус обнаружил 100% образцов в семействе. Это означает, что алгоритм обнаружения качественно разработан и протестирован.

2 балла начисляются, если антивирус обнаружил от 99 до 100% образцов в семействе. В этом случае можно считать, что алгоритм обнаружения разработан не совсем правильно или не было проведено необходимое тестирование.

1 балл начисляется, если обнаружено от 90 до 99% образцов в семействе, что говорит о наличие ошибок в алгоритме обнаружения или отсутствие необходимого тестирования.

И, наконец, если было обнаружено менее 90% образцов в семействе, то алгоритм обнаружения данного семейства считался разработанным плохо и антивирусу баллов не начислялось.

В таблице 3 представлены итоговые результаты всех участвовавших в тесте продуктов и присужденные им награды.

 

Таблица 3: Лучшие антивирусы по результатам теста

Антивирус Награда Всего баллов
(максимум 33)
Avira Antivir Personal Edition Classic 7.06 Gold Anti-Polymorphic Protection Award
Gold Anti-Polymorphic Protection Award
31
F-Secure Anti-Virus 2008 31
Kaspersky Anti-Virus 7.0 31
Avast Professional Edition 4.7 Silver Anti-Polymorphic Protection Award
Silver Anti-Polymorphic Protection Award
25
AVG Anti-Virus Professional Edition 7.5 22
DrWeb 4.44 21
Eset Nod32 Antivirus 3.0 20
Microsoft Windows Live OneCare 2.0 Pre-Release Bronze Anti-Polymorphic Protection Award
Bronze Anti-Polymorphic Protection Award
19
Trend Micro Antivirus plus Antispyware 2008 18
Symantec Anti-Virus 2008 17
BitDefender Anti-Virus 2008 16
Agnitum Outpost Security Suite Pro 2008 15
Sophos Anti-Virus 7.0 14
Panda Antivirus 2008 14
VBA32 Workstation 3.12.6 14
McAfee VirusScan 2008 Тест провален 11

 

Как видно, лучшими по обнаружению полиморфных вирусов оказались антивирусы Avira Antivir Personal Edition, F-Secure Anti-Virus и Kaspersky Anti-Virus, пропустившие всего несколько из 30 тыс. самплов. Эти три антивируса получили высшую награду Gold Anti-Polymorphic Protection Award.
Антивирусы Avast Professional Edition, AVG Anti-Virus Professional Edition, DrWeb и Eset Nod32 Antivirus также показали хорошие результаты, хотя каждый из них за исключением Avast провалил проверку на одном семействе полиморфных вирусов. Все эти продукты получили награду Silver Anti-Polymorphic Protection Award.

Удовлетворительные результаты показали антивирусные продукты Microsoft Windows Live OneCare, Trend Micro Antivirus, Symantec Anti-Virus, BitDefender Anti-Virus, Agnitum Outpost Seciruty Suite, Sophos Anti-Virus, Panda Antivirus и VBA32 Workstation. Все эти антивирусы получили награду Bronze Anti-Polymorphic Protection Award. Особенно стоит отметить антивирус от Microsoft, который показал очень высокое качество детектирование на некоторых семействах, но не смог подняться выше из-за слабого обнаружения вирусов семейств Virut 1-3.

Антивирус McAfee VirusScan, к сожалению, провалил тест, не набрав даже минимальный проходной балл.

 

Автор: Сергей Ильин

Anti-Malware Яндекс ДзенПодписывайтесь на канал "Anti-Malware" в Telegram, чтобы первыми узнавать о новостях и наших эксклюзивных материалах по информационной безопасности.
Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.