Перейти к содержанию
Сергей Ильин

Сравнение антивирусов по эффективности защиты от новейших вредоносных программ (результаты)

Recommended Posts

Сергей Ильин

Уважаемые коллеги!

Предлагаю вашему вниманию результаты первого в своем роде динамического сравнительного тестирования антивирусов на качество защиты от новейших вредоносных программ, методология которого обсуждалась ранее. Что значит динамического? Тестирования максимально приближенного к реалиям, когда качество защиты тестируется в боевых условиях (на реальных угрозах и с актуальными именно на этот момент обновлениями).

http://www.anti-malware.ru/node/885

Огромное спасибо команде, работающей над этим проектом, а именно Deja_Vu и vaber.

Мы пошли на смелый эксперимент и в дополнение к антивирусам протестировали еще и два продукта класса HIPS: DefenseWall HIPS и Safe'n'Sec.

Результаты сравнительного тестирования следующие (1 балл - заражение предотвращено, 0 - пропущено):

Антивирус Кол-во предотвращенных заражений % от макс (34)

Kaspersky 30 88%

Avira 26 76%

AVG 25 74%

Sophos 19 56%

BitDefender 18 53%

F-Secure (СТРИМ) 18 53%

Dr.Web 16 47%

G Data 16 47%

Avast! 14 41%

Outpost 13 38%

Trend Micro 12 35%

Microsoft 11 32%

Eset 10 29%

McAfee 9 26%

Panda 8 24%

Norton 4 12%

VBA32 2 6%

HIPS Кол-во предотвращенных заражений % от макс (34)

DefenseWall HIPS 33 97%

Safe'n'Sec 15 44%

dynamic_results.gif

http://www.anti-malware.ru/node/885#results

Подробности в полном отчете в формате Excel

http://www.anti-malware.ru/files/dymanic_test_results4.xls

Результаты во многом достаточно интересные. Главное что можно сказать: проактивные технологии могут быть надежными и обеспечивать приемлемую защиту. Они все таки работают! :)

С нетерпением жду ваших комментариев и вопросов!

Методология тестирования

P.S. Мы не стали делать награждения медалями, так как это сравнительное тестирование является своего рода пробным шаром.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

Поздравляю Илью и ЛК.

Офф. опечатка:

Как видно из таблицы 2, из программ класса HIPS очень высокий результат показал DefenseWall HIPS, сумевший детектировать попытки заражения системы пости в 100%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Эх, жаль нету медалек. Повесил бы платину на сайтик...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Эх, жаль нету медалек. Повесил бы платину на сайтик...

:lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n

Примите комменты незаинтересованной стороны, в основном с критикой.

Неточности:

* McAfee Internet Security Suite 8.1 - такого продукта нет, нынешние версии 2009 скрывают под собой 13.х.х., 2008-е 12.х.х.

Что не понравилось:

* отбор коллекции:

загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal (всего на этом сервисе подключено 38 различных антивирусных движков). Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект).
изначально условия были неравными и определенные продукты имели преимущество;

* разные классы продуктов; некоторые IS оснащены функциями мониторинга реестра, скриптов, etc. Но это спорно: если у компании нет IS - решения, то в том ее вина.

* полное сходство результатов Рис. 1 и Табл. 1. Получается, что все продукты взяли сэмплы сигнатурами? Дома использую Outpost Firewall Pro (выключены веб-модуль и модуль анти-шпион), модуль которого Локальная безопасность (aka HIPS) в настройках по умолчанию предотвращает запуск приложений, контролирует обращение к реестру, диску, etc. Вызывает сомнение в виду закрытости сэмплов.

* некорректность сравнения DefenseWall и Safe'n'Sec, проповедующих ну совсем разные алгоритмы работы. Хотя это не умаляет достоинств DefenseWall HIPS и Илью можно поздравить. Тем не менее, использование тех же Shadow Surfer и Shadow Defender свело бы на нет и его старания: достаточно одной перезагрузки ПК.

Что понравилось:

сделан первый нетвердый, но нужный шаг. Возможно, что этот тест подтолкнет тестовые лаборатории к работе и в этом направлении, тогда появятся более четкие методологии. Хорошо, что в тест попали представители класса HIPS, но слишком уж узок круг тестируемых. В перспективе можно предложить вендорам передать на тестирование настроенные ими продукты для получения максимального результата. Считаю, что не стоит в дальнейшем проводить тестирование накануне выхода новых версий, но это IMHO. Удачи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vovan7777

хотелось бы узнать-многие кто использует Avira Premium также пользуются Comodo 3(настроенного на safe или agressive режим) в связке,любопытно было бы узнать на сколько суммарная эта комбинация % потянет?

Сергей,комбайн Avira не особо популярен в рунете..(мягко сказано) в отличие от Premium версии в связке с Comodo 3.

или Outpost.

у меня лично не раз правильно настроенный defense+ выручил,когда Авира молчала.

и если другие вендоры как ЛК и Eset делают ударную связку на свои комбайны в основном и не рекомендуют использовать тот же Comodo 3 даже с простым антивирусом,то в Авире с этим намного проще.

Если не трудно ,то возможно ли протестировать эту связку,при условии-тонкой настройки"по максимуму" Comodo 3

А,уж если взять простую бесплатную Авиру+Comodo 3,то это фактически получится оптимальная бесплатная комбинация для обычных пользователей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Тестирования максимально приближенного к реалиям, когда качество защиты тестируется в боевых условиях (на реальных угрозах и с актуальными именно на этот момент обновлениями).

Cпасибо, Сергей; спасибо vaber; спасибо DejaVu.

Неплохое начало того, как надо.

Естественно результаты меня НЕ удивляют. Победителей поздравляю, особенно Илью - заслуженная победа. :)

Меня порадовала Avira. Удивил, да - разочаровал меня Outpost немного - я лично ожидал больше от него. Очень жду комментов.

P.S.: А где Comodo Internet Security? ;)

была установлена операционная система Microsoft Windows XP Pro SP2 (последние обновления намеренно не ставились).

Вот это интересный момент, который значительно влияет на результаты. Браузером по умолчанию был IE6, я правильно понял? Какие add-ons и plug-ins были установлены?

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit
загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов

а как узнать детектировался ли образец антивирусом? есть ли такая таблица...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
P.S.: А где Comodo Internet Security? ;)

Он, если мне не изменят память, вышел уже после начала теста -))

* McAfee Internet Security Suite 8.1 - такого продукта нет, нынешние версии 2009 скрывают под собой 13.х.х., 2008-е 12.х.х.

тест можно сказать был пол года назад ... -))

после него, посыпались обновления продуктов ... хотя все же надо перепроверить, может дествительно ошибочка закралась

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Мы пошли на смелый эксперимент и в дополнение к антивирусам протестировали еще и два продукта класса HIPS: DefenseWall HIPS и Safe'n'Sec.
Эх, жаль нету медалек. Повесил бы платину на сайтик...

Вот так всегда: старается человек, старается... А медалек-то и нетусь, кончились. :)

Поздравляю с хорошими показателями!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вот это интересный момент, который значительно влияет на результаты. Браузером по умолчанию был IE6, я правильно понял? Какие add-ons и plug-ins были установлены?

IE 7 - тогда в Windows Update уже предлагалось его скачать.

Все add-ons по умолчанию

Сергей,комбайн Avira не особо популярен в рунете..(мягко сказано) в отличие от Premium версии в связке с Comodo 3.

или Outpost.

Не знай-не знай ... у нас в локалке(Татарстан) достаточно популярен -))

А вот связку с комодо, максимум 1-2 человека делают.

+

Если пробывать тестировать все связки, а не сами продукты - можно умереть и не дождаться конца теста

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Спасибо за тест. А то исчесался весь уже ожидая.

Антивирус Avira оказался эффективен в силу высокого уровня обнаружения эксплойтов (см. таблицу 3) и упакованных объектов (имеется в виду детектирование вредоносной по используемому в ней упаковщику).

Я ещё сплю или таблицы 3 действительно нет?

И ещё.

Это означает то, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов... Если отобранные самплы и детектировались кем-то, то вердикты как правило были неточными (подозрение на заражение или упакованный объект).

В этих двух цитатах кроется самый спорный момент теста. Создаётся впечатление, что некоторые представители просто прошли за счёт детекта по пакеру. Куда деть эти 20% теперь? Прибавить на своё усмотрение какому-нибудь вендору или отнять?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arakcheev

Попробуйте потестить на данных условиях 5-ку от веба.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Эм.......

wtf.gif

Сэмплы одинаковые - результаты разные.

Столбцы V и AA.

post-4003-1230020015_thumb.png

Отредактировал dr_dizel

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Эх, жаль нету медалек. Повесил бы платину на сайтик...

То медали нужны, то это воспринимается полным злом. :lol: А если серьезно, то обкатаем хорошенько методику тестирования и будут медальки.

* McAfee Internet Security Suite 8.1 - такого продукта нет, нынешние версии 2009 скрывают под собой 13.х.х., 2008-е 12.х.х.

Уверяю вас, такой продукт есть :) Версии типа 12.0 и 13.0 - это относится к Trend Micro Internet Security ;)

изначально условия были неравными и определенные продукты имели преимущество;

* разные классы продуктов; некоторые IS оснащены функциями мониторинга реестра, скриптов, etc. Но это спорно: если у компании нет IS - решения, то в том ее вина.

Немного не понял. У каких продуктов было преимущество? У тех, которые более технологически продвинутые?

* полное сходство результатов Рис. 1 и Табл. 1.

Так это и есть одно и тоже. Для наглядности данные таблиц представлены графически. У них даже названия совпадают.

Что понравилось:

сделан первый нетвердый, но нужный шаг. Возможно, что этот тест подтолкнет тестовые лаборатории к работе и в этом направлении, тогда появятся более четкие методологии. Хорошо, что в тест попали представители класса HIPS, но слишком уж узок круг тестируемых. В перспективе можно предложить вендорам передать на тестирование настроенные ими продукты для получения максимального результата. Считаю, что не стоит в дальнейшем проводить тестирование накануне выхода новых версий, но это IMHO. Удачи.

Да, это именно первый шаг, за которым должен последовать полноценный тест по улучшенной методологии. С версиями получилось неважно, согласен, тут просто момент выбрать крайне сложно, всегда кому-то не угодишь + тестов много по плану идет.

P.S.: А где Comodo Internet Security? wink.gif

Увы, его на начало теста еще не было ;)

а как узнать детектировался ли образец антивирусом? есть ли такая таблица...

Некоторые и до сих пор не детектируют эти образцы :)

Посмотрите в поиске по хешу на virustotal.com, хеши указаны в экселевском файле (полном отчете о тестировании).

dr_dizel, так таблица слишком широкая получается, было невозможно работать с ней :D

Попробуйте потестить на данных условиях 5-ку от веба.

Хм, а за счет чего она должна быть лучше? Там есть хипс, как у KIS 2009?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit
Некоторые и до сих пор не детектируют эти образцы smile.gif

Посмотрите в поиске по хешу на virustotal.com, хеши указаны в экселевском файле (полном отчете о тестировании).

ерунда какая-то... надо это сразу делать... взял первые случайно два хэша - nod32 их знает... причем когда эти файлы появились на virustotal было достаточно давно,а как узнать когда он стал определятся и определся ли раньше не понятно...

не зачет...

http://www.virustotal.com/analisis/5f193f2...3374678d6e22967

вообще не вижу NOD32...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
ерунда какая-то... надо это сразу делать... взял первые случайно два хэша - nod32 их знает... причем когда эти файлы появились на virustotal было достаточно давно,а как узнать когда он стал определятся и определся ли раньше не понятно...

не зачет...

А не важно.. определял он их или нет, важно лишь заразил он систему или нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
ерунда какая-то... надо это сразу делать

Вендоры по хешу самого вредоноса легко узнают, когда сампл был добавлен в их базы. А то факт, кто их знал видно из итоговых результатов.

Мне вообще не понятен ваш вопрос. Антивирус мог и не знать самого вредоноса, но детектировать эксплойт или загрузчик. Хочу полюбопытствовать теперь, как это все можно проверить по вирустоталу и сохранить в отчете? Мы же тут не только тупо тестировали файловые антивирусы ... почитайте методологию внимательно, ОК?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Проверяется антивирус, как он работает в реале как говорится "здесь и сейчас". Т.е. имитация реальных боевых условий.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit

я всё это написал к тому, что где гарантия, что один или несколько антивирусов уже ДО проведения тестирования не обладали (знали) сигнатурами тестируемых вирусов...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
я всё это написал к тому, что где гарантия, что один или несколько антивирусов уже ДО проведения тестирования не обладали (знали) сигнатурами тестируемых вирусов...

читайте методологию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit

20% - большой показатель, особенно учитываю плотную группу в середине...

20% - достаточно из первого стать третьим

итд...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
20% - большой показатель, особенно учитываю плотную группу в середине...

20% - достаточно из первого стать третьим

итд...

Обнаружение не значит защита ... опять же -))

Добавлено

Кстати, касперский достаточно много взял своей проактивной составляющей, Не так уж и много он ловил сигнатурно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Обнаружение не значит защита ... опять же -))

Кстати, у меня по этому поводу вопрос: были ли случаи, когда вы нажали 'Запретить', но не помогло?

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Кстати, у меня по этому поводу вопрос: были ли случаи, когда вы нажали 'Запретить', но не помогло?

Paul

Было много случаев, когда блокировалось что-то частично, но были и такие, когда "запретить" вообще не помогало.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×