Тест самозащиты антивирусов (январь 2009)

Используя различные методы, в том числе социальную инженерию, можно без труда добиться от интернет-пользователя запуска неизвестной программы или перехода по ссылке на зараженный веб-сайт. В случае заражения, не редко случается, что вредоносная программа нарушает функционирование антивирусного продукта, с целью не дать возможность антивирусу получить обновление сигнатур и возможность себя обнаружить. Пользователь если и догадается о причинах "смерти" своего антивируса, то остается абсолютно беззащитным.

В таких условиях современные антивирусные продукты должны уметь надежно себя защищать, т.е. обладать самозащитой. Это позволит им выстоять в случае наиболее сложных атак, когда вредоносные программы пытаются различными методами нарушить их работу, и далее удалить инфекцию штатными средствами, например, после очередного обновления антивирусных баз или после обращения в техническую поддержку.

В данном тесте изучались возможности самозащиты антивирусных продуктов от возможных атак под операционной системой Windows XP SP3 с правами локального администратора на следующих уровнях:

  1. Изменение разрешений на доступ к файлам и ключам реестра.
  2. Модификация/удаление модулей.
  3. Удаление антивирусных баз.
  4. Модификация/удаление значимых ключей реестра.
  5. Завершение процессов.
  6. Модификация процессов/кода.
  7. Выгрузка драйверов.


Методология проведения теста »
Анализ результатов теста самозащиты и награды »


Оглавление:

- Введение
- Итоговые результаты теста
- Анализ изменений в сравнении с предыдущими тестами
- Подробные результаты теста
- Комментарии партнеров Anti-Malware.ru

 

Введение

В тестировании принимали участие 16 наиболее популярных антивирусных программ, среди которых:

  • Avast! 4 Professional Edition 4.8 (build 4.8.1229)
  • Microsoft Windows Live OneCare 2.5.2900.20
  • Avira Premium Security Suite 8.1.0.245
  • BitDefender Internet Security 2009 (build 12.0.10)
  • Dr.Web Security Space 5.0.0.12171
  • ESET Smart Security 3.0.672.0
  • F-Secure Internet Security 2009 (9.00 build 148)
  • Kaspersky Internet Security 2009 (8.0.0.454)
  • McAfee Internet Security 2009
  • Norton Internet Security 2009 (16.0.0.125)
  • Outpost Security Suite Pro 2009 (6.5.2358.316.0607)
  • Panda Internet Security 2009 (build 14.00.00)
  • Sophos Anti-Virus 7.6.2
  • Trend Micro Internet Security 2009 (17.0.1224)
  • VBA32 Personal (3.12.8.1)
  • ZoneAlarm Security Suite 8.0.059.000

Тест самозащиты антивирусов проводился под операционной системой Windows XP SP3 с правами администратора по следующим группам атак:

  1. Изменение разрешений на доступ к файлам и ключам реестра.
  2. Модификация/удаление модулей.
  3. Удаление антивирусных баз.
  4. Модификация/удаление значимых ключей реестра.
  5. Завершение процессов.
  6. Модификация процессов/кода.
  7. Выгрузка драйверов.

Проверка самозащиты антивирусов по каждому из 38 параметров проводилась четко в соответствии с определенной методологией тестирования.

 

Итоговые результаты теста самозащиты антивирусов

Таблица 1: Итоговые результаты теста самозащиты антивирусов и полученные награды

Тестируемый продукт Награда Всего баллов
(максимум 38)
% от макс. возможного
Dr.Web Security Space 5.0 Gold Self-Protection Award
Platinum Self-Protection Award
38 100%
Outpost Security Suite Pro 2009 Gold Self-Protection Award
Gold Self-Protection Award
36.5 96%
Kaspersky Internet Security 2009 35.5 93%
Norton Internet Security 2009 34 89%
Avast! 4 Professional Edition 4.8 33 87%
VBA32 Personal 3.12 30.5 80%
ZoneAlarm Security Suite 8.0 Silver Self-Protection Award
Silver Self-Protection Award
29.5 78%
Panda Internet Security 2009 23.5 62%
F-Secure Internet Security 2009 Bronze Self-Protection Award
Bronze Self-Protection Award
22 58%
McAfee Internet Security 2009 21 55%
Microsoft Windows Live OneCare 2.5 20.5 54%
Trend Micro Internet Security 2009 19.5 51%
Avira Premium Security Suite 8.1 19 50%
ESET Smart Security 3.0 18.5 49%
BitDefender Internet Security 2009 18.5 49%
Sophos Anti-Virus 7.6 Тест провален 12.5 33%

 

Напомним, что согласно используемой схеме награждения, 1 балл (+) начислялся, если по одному из параметров (виду атаки) самозащита продукта сработала полностью успешно.

0.5 балла (или +/-) - если самозащита по данному параметру частично отсутствует, но основной функционал при этом сохранился (автоматически восстановился).

И, наконец, в случае полного отсутствия самозащиты и деактивации основного функционала антивирусу не начислялось баллов вовсе.

Как видно из таблицы 1, абсолютным лидером в самозащите является новейший Dr.Web Security Space 5.0, получивший самую высокую для данного теста награду Platinum Self-Protection Award. Этот антивирус отразил все 100% моделируемых атак, набрав 38 баллов.

Очень высокие результаты в самозащите продемонстрировала пятерка Outpost Security Suite Pro 2009, Kaspersky Internet Security, Norton Internet Security, Avast! 4 Professional Edition и VBA32 Personal, которые с результатами от 96 до 80% получили награду Gold Self-Protection Award. Если Kaspersky Internet Security золотая награда присуждается уже второй раз, то для Norton Internet Security, Avast! 4 Professional Edition и VBA32 Personal это значимый шаг вперед (ранее у них в активе не было такой высокой награды).

Стоит отметить, что молодой продукт компании Agnitum - Outpost Security Suite Pro, ранее не участвующий в подобных тестах у нас, сразу же отлично показал себя, завоевав золотую награду и опередив многих именитых конкурентов.

Очень достойные результаты показали также ZoneAlarm Security Suite и Panda Internet Security, получившие награду Silver Self-Protection Award.

Еще 7 продуктов: F-Secure Internet Security, McAfee Internet Security, Microsoft Windows Live OneCare, Trend Micro Internet Security, Avira Premium Security Suite, ESET Smart Security и BitDefender Internet Security показали удовлетворительный результат и получили награду Bronze Self-Protection Award.

 

Анализ изменений в сравнении с предыдущими тестами

Мы решили проанализировать динамику улучшения самозащиты антивирусных программ за 2007-2008 годы. Для этого к результатам этого теста были добавлены результаты теста от августа 2007 год.

Таким образом, можно проследить изменения в самозащите для каждого протестированного продукта (за исключением Outpost Security Suite Pro, который не участвовал в предыдущих тестах) - см. рисунок 1.

Рисунок 1: Динамика изменения уровня самозащиты антивирусных программ

Несмотря на общий прогресс в самозащите, результаты многих антивирусных продуктов могли бы быть еще выше,

Как видно из графика, практически все вендоры за прошедшие полтора года улучшили самозащиту своих продуктов. Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась. Однако уровень самозащиты Kaspersky Internet Security попрежнему выше, чем у многих конкурентов.

Динамика результатов теста позывает, что наибольшая работа по улучшению этого компонента защиты была проделана компаниями «Доктор Веб», Agnitum (Outpost), Avast, Symantec, «ВирусБлокАда» и Check Point (ZoneAlarm) – отличная работа!

Несмотря на общий прогресс в самозащите, результаты многих антивирусных продуктов могли бы быть еще выше, если бы производители подходили к этому вопросу более серьезно. Практически типична ситуация, когда у тестируемых продуктов отсутствовала защиты у отдельных компонентов, за что согласно методологии они сразу же получали (+/-) и теряли 0.5 балла.

 

Подробные результаты теста самозащиты антивирусов

В таблице 2 представлен расчет количества баллов для каждого антивирусного продукта по числу отраженных и пропущенных его самозащитой атак в ходе теста.

Таблица 2: Количество успешно отраженных и пропущенных атак, суммарный расчет баллов

Тестируемый продукт Кол-во отраженных атак Количество пропущенных атак, отсутствие самозащиты
(0 баллов) 3
Всего баллов
(макс. 38)
Количество полностью отраженных атак
(1 балл) 1
Количество частично отраженных атак
(0.5 балла) 2
Dr.Web Security Space 5.0 38 0 0 38
Outpost Security Suite Pro 2009 35 3 0 36.5
Kaspersky Internet Security 2009 35 1 2 35.5
Norton Internet Security 2009 32 4 2 34
Avast! 4 Professional Edition 4.8 32 2 4 33
VBA32 Personal 3.12 30 1 7 30.5
ZoneAlarm Security Suite 8.0 24 11 3 29.5
Panda Internet Security 2009 16 15 7 23.5
F-Secure Internet Security 2009 19 6 13 22
McAfee Internet Security 2009 10 22 6 21
Microsoft Windows Live OneCare 2.5 10 21 7 20.5
Trend Micro Internet Security 2009 7 25 6 19.5
Avira Premium Security Suite 8.1 7 24 7 19
ESET Smart Security 3.0 6 25 7 18.5
BitDefender Internet Security 2009 5 27 6 18.5
Sophos Anti-Virus 7.6 2 21 6 12.5
  1. Самозащита продукта сработала полностью успешно.
  2. Самозащита от этого вида атаки частично отсутствует, но основной функционал при этом сохранился (автоматически восстановился).
  3. Самозащита от этого вида атаки полностью отсутствует или есть, но основной функционал выведен из строя.

В качестве дополнения представим отдельные результаты тестирования самозащиты антивирусов по отдельным группам атак.

 

Таблица 3: Итоговые результаты тестирования (системный уровень)

Тестируемый продукт Сумма баллов
(max 7)
Оценка результатов
Dr.Web Security Space 5.0 7 Отлично
Outpost Security Suite Pro 2009 6.5
Avast! 4 Professional Edition 4.8 6
Norton Internet Security 2009 6
Panda Internet Security 2009 6
Kaspersky Internet Security 2009 5
ZoneAlarm Security Suite 8.0 4.5 Хорошо
Trend Micro Internet Security 2009 3 Удовл.
BitDefender Internet Security 2009 2
McAfee Internet Security 2009 1 Тест провален
Sophos Anti-Virus 7.6 1
VBA32 Personal 3.12 0.5
Avira Premium Security Suite 8.1 0
ESET Smart Security 3.0 0
F-Secure Internet Security 2009 0
Microsoft Windows Live OneCare 2.5 0

 

Таблица 4: Итоговые результаты тестирования (завершение процессов)

Антивирус Сумма баллов
(max 20)
Оценка результатов
Dr.Web Security Space 5.0 20 Отлично
Kaspersky Internet Security 2009 20
Outpost Security Suite Pro 2009 20
VBA32 Personal 3.12 19
Norton Internet Security 2009 18
Avast! 4 Professional Edition 4.8 17.5
ZoneAlarm Security Suite 8.0 15.5 Хорошо
F-Secure Internet Security 2009 14.5
Panda Internet Security 2009 12.5
Microsoft Windows Live OneCare 2.5 12
McAfee Internet Security 2009 11.5 Удовл.
ESET Smart Security 3.0 11
Avira Premium Security Suite 8.1 10.5
BitDefender Internet Security 2009 9.5
Trend Micro Internet Security 2009 9.5
Sophos Anti-Virus 7.6 6 Тест провален

 

Таблица 5: Итоговые результаты тестирования (модификация процессов)

Антивирус Сумма баллов
(max 9)
Оценка результатов
Dr.Web Security Space 5.0 9 Отлично
Kaspersky Internet Security 2009 9
Norton Internet Security 2009 9
VBA32 Personal 3.12 9
Outpost Security Suite Pro 2009 8.5
Avast! 4 Professional Edition 4.8 7.5
ZoneAlarm Security Suite 8.0 7.5
Avira Premium Security Suite 8.1 7 Хорошо
McAfee Internet Security 2009 7
Microsoft Windows Live OneCare 2.5 7
ESET Smart Security 3.0 6
BitDefender Internet Security 2009 5.5
F-Secure Internet Security 2009 5.5
Trend Micro Internet Security 2009 5 Удовл.
Sophos Anti-Virus 7.6 4.5
Panda Internet Security 2009 3.5 Тест провален

 

Таблица 6: Итоговые результаты тестирования (защита драйверов)

Тестируемый продукт Сумма баллов
(max 2)
Оценка результатов
Avast! 4 Professional Edition 4.8 2 Отлично
Dr.Web Security Space 5.0 2
F-Secure Internet Security 2009 2
Trend Micro Internet Security 2009 2
VBA32 Personal 3.12 2
ZoneAlarm Security Suite 8.0 2
Avira Premium Security Suite 8.1 1.5 Хорошо
BitDefender Internet Security 2009 1.5
ESET Smart Security 3.0 1.5
Kaspersky Internet Security 2009 1.5
McAfee Internet Security 2009 1.5
Microsoft Windows Live OneCare 2.5 1.5
Outpost Security Suite Pro 2009 1.5
Panda Internet Security 2009 1.5
Norton Internet Security 2009 1 Удовл.
Sophos Anti-Virus 7.6 1

 

Если говорить в целом, то как видно из таблиц 3-6, по большинству категорий атак результаты антивирусов стали более ровными. Исключение составляет только системный уровень, пожалуй наиболее важный, где провалилась большая половина продуктов.

Подводя итоги теста, можно констатировать, что восемь антивирусных продуктов, получивших награды от серебряной и выше имеют приличную самозащиту. Из них действительно надежно противостоять атакам могут только Dr.Web Security Space, Outpost Security Suite Pro, Kaspersky Internet Security, Norton Internet Security, Avast! 4 Professional Edition и VBA32 Personal.

Чтобы ознакомиться с подробными результатами теста самозащиты конкретного антивируса и убедиться в правильности итоговых расчетов, рекомендуем Вам скачать результаты этого теста в формате Excel или PDF.

 

Василий Бердников, эксперт Anti-Malware.ru так комментирует результаты теста:

«Как показывает практика, значительный процент вредоносных программ содержит в себе функционал борьбы с антивирусными программами: завершение процессов, блокировка/удаление компонентов и ключей реестра. В большинстве случаев атака идет целенаправленно – вредоносное приложение имеет список имен процессов, файлов/расширений файлов, которые следует завершить/удалить/заблокировать открытие. Чтобы пользователь не остался один на один с активным заражением, антивирусные программы должно уметь себя защищать. Но стоит также отметить, что наибольшая эффективность самозащиты проявляется вкупе с проактивными механизмами защиты. Очевидно, что самозащита сводится к защите от атак из пользовательского режима, но никак не сможет противостоять изощренным атакам из режима ядра – именно для блокировки возможности такой атаки и необходимы проактивные технологии (например, HIPS). Поэтому становится все больше вредоносных программ, использующий драйвер для борьбы с антивирусным софтом, или же открытие тома для прямой модификации (порчи) файлов и ключей антивируса».

 

Комментарии партнеров Anti-Malware.ru

Кирилл Керценбаум, Технический Консультант представительства Symantec в России и СНГ:

«Результаты данного теста свидетельствуют о том, что продукты Norton по-прежнему обладают одним из лучших в отрасли уровнем защиты всех компонент системы. Без этого немыслима работа современного комплекса защиты для ПК: каким бы высоким уровнем детекта не обладал антивирусный продукт, стоит вредоносной программе его выключить и дальше на ПК можно выполнять практически любые действия. Стоит также напомнить, что технологии защиты Symantec Tamper Protection и SymProtect, используемые как в персональных продуктах Norton, так и в корпоративных продуктах Symantec, являются давно зарекомендовавшими себя технологиями защиты и развиваются очень давно. Также очень показателен тот факт, что значительная работа по увеличению производительности продуктов, проведенная в комплексах защиты Norton 2009, никак не сказалась на уровне защиты компонент системы, а только улучшила его».

 

Сергей Уласень, начальник отдела разработки антивирусного ядра компании «ВирусБлокАда»:

«Тенденции в развитии вредоносного ПО указывают на то, что самозащита программ антивирусной безопасности является важным аспектом защищенности пользователей. Мы уделяем данному вопросу повышенное внимание, о чем говорит получение серебряной награды в прошлом тестировании и золотой в данном. Также в начале февраля ожидается выпуск версии 3.12.8.11, в которой будет значительно улучшен механизм защиты процесса от завершения и модификации, а в текущей версии 3.12.9 alpha уже реализована не только защита от модификации реестра и файловой системы, но и защита от восстановления перехвата».

 

Николай Терещенко, технический директор компании «Алатус»:

«2009 год в антивирусной отрасли начинается с позитивных новостей. Сравнение показателей антивирусов августа 2007 и января 2009 демонстрируют нам положительную динамику совершенствования средств самозащиты. Должен отметить, что данный функционал имеет очень большое значение, т.к. антивирус должен иметь адекватную защиту не только от неквалифицированных действий самого пользователя, но и защиту от вредоносного программного обеспечения, пытающегося деактивировать антивирус при заражении рабочей станции. Хочется отметить квалификацию разработчиков Dr.Web, которые учли все недочеты антивируса и смогли довести самозащиту новых версий своих продуктов до 100%».

 

Алексей Белкин, руководитель отдела аналитики и постановки задач компании Agnitum, комментирует:

«Проведенное Anti-Malware.ru тестирование самозащиты комплексных продуктов безопасности производит впечатление одного из лучших подобных обзоров. К сожалению, в тесте участвовала не совсем последняя версия Outpost, выпущенная в самом конце 2008 года, но второе место продукта в тесте даже для предыдущей версии в результатах этого тестирования показывает, какое внимание мы уделяем борьбе с новыми высокотехнологичными угрозами».

«В целом проведенное тестирование очень показательно. Лидерами теста оказались продукты именно тех компаний, которые активно внедряют инновационные методы противостояния современным способам обхода защиты. В конечном итоге от этого тестирования выиграют пользователи, которые выберут более совершенные и надежные версии продуктов».

 

Авторы:
Сергей Ильин

ВложениеРазмер
Office spreadsheet icon self-protection2_results.xls225.5 КБ
PDF icon self-protection2_results.pdf578.34 КБ

Присоединяйтесь к нам!

Если вы заметили ошибку, выделите необходимый текст и нажмите Ctrl+Enter, чтобы сообщить об этом редакции    Система Orphus

Если вы являетесь производителем и хотели бы видеть свой продукт в списке протестированных по данной методологии или обновить его результаты, не дожидаясь нового планового теста, вы можете воспользоваться услугой индивидуального тестирования.