Перейти к содержанию
Александр Шабанов

Тест антивирусов от AV-Test.org (Январь 2008)

Recommended Posts

Александр Шабанов

Вышла очередная публикация теста от Маркса (Av-test.com), на этот раз отчет получился расширенным, него входит отдельно статистика по сингнатурному детекту, ложные срабатывания, время реакции на новые угрозы и детект скрытых угроз (руткитов), итак результаты следующие:

Сигнатурный детект:

WebWasher 99,9%

AVK 2008 99,8%

AntiVir 99,6%

Avast! 99,4%

Trend Micro 98,6%

Symantec 98,3%

AVG 98,1%

BitDefender 98,0%

Kaspersky 98,0%

Ikarus 97,9%

Sophos 97,8%

F-Secure 97,6%

Microsoft 96,9%

F-Prot 96,3%

Panda 95,6%

Rising 94,0%

Norman 93,9%

McAfee 93,7%

Fortinet 93,5%

Nod32 93,1%

Dr Web 86,7%

VBA32 86,4%

QuickHeal 84,2%

ClamAV 77,3%

Command 71,2%

VirusBuster 67,7%

K7 Computing 55,8%

eTrust-VET 55,3%

Ложные срабатывания:

eTrust-VET ++

McAfee ++

Microsoft ++

Symantec ++

AntiVir +

AVG +

Command +

F-Prot +

F-Secure +

Nod32 +

Norman +

Sophos +

Trend Micro +

VirusBuster +

Avast! o

AVK 2008 o

BitDefender o

Dr Web o

K7 Computing o

Kaspersky o

Panda o

QuickHeal o

Rising o

VBA32 o

WebWasher o

ClamAV -

Ikarus -

Fortinet –

------------

++ = 0 False-Positives

+ = 1 False-Positive

o = 2 False-Positive

- = 3 False-Positive

– = более 3х

Детект руткитов(12 самплов):

F-Secure ++

Panda ++

Symantec ++

Trend Micro ++

AntiVir +

Avast! +

AVG +

BitDefender +

Dr Web +

eTrust-VET +

Kaspersky +

McAfee +

Nod32 +

Sophos +

F-Prot o

Ikarus o

Microsoft o

Norman o

Rising o

VBA32 o

VirusBuster o

AVK 2008 -

QuickHeal -

ClamAV –

Command –

K7 Computing –

Fortinet n/a (gateway product)

WebWasher n/a (gateway product)

Legende (Rootkit-Erkennung)

++ = очень хорошо (все обнаружены)

+ = хорошо (1 не обнаружен)

o = 2 не обнаружен

- = 3 не обнаружено

– = больше 3х

Полную итоговую таблицу можно посмотреть здесь

Ваши комментарии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kokunov Aleksey

что то как то не очень :)

Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Кирилл Керценбаум
Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Все что есть: http://sunbeltblog.blogspot.com/2008/01/la...sults-from.html, более подробного описания не удалось найти.

Очень интересные результаты, первая тройка идет очень близко с очень хорошими показателями, Symantec и Trend Micro показали что последние усилия по улучшению качества сигнатурного детекта не прошли зря и показатель данный сильно вырос, причем у первого по-прежнему сохраняется очень высокое качество детекта без ложных срабатываний. Также заметно улучшение работы анти-рутким механизмов у многих вендоров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
что то как то не очень

Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Лично мне этого у Маркса получить ни разу не удалось... Как и подробной информации о происхождении коллекции и ее содержиимом. Сколько там чего, есть ли битые, мертвые и чистые файлы. Даже грустно за полную закрытость результатов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Больше всего удивило отличие результатов этого теста от результатов их предыдущих тестов.

В общем, очень неоднозначный результат.

Видимо, методология сильно поменялась. Или спонсоры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

А то что Avast по сравнению с ноябрем с 11 на 4 место поднялся и увеличил детект с 95,24% до 99,4% никого не удивляет? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
А то что Avast по сравнению с ноябрем с 11 на 4 место поднялся и увеличил детект с 95,24% до 99,4% никого не удивляет? smile.gif

Это может говорить о том, что коллекция составлена почти сплошь из семплов Аваста. Малое количество ложных срабатываний у этого антивируса при таком детекте настораживает.

Кстати, какое количество сэмплов было в тесте на общий детект?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Кстати, какое количество сэмплов было в тесте на общий детект?

1024381 :)

Похоже там присутсвует куча мусора, и одинаковые самплы, другое объяснение такому гиганскому числу не могу дать :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Все что есть: http://sunbeltblog.blogspot.com/2008/01/la...sults-from.html, более подробного описания не удалось найти.

Очень интересные результаты, первая тройка идет очень близко с очень хорошими показателями, Symantec и Trend Micro показали что последние усилия по улучшению качества сигнатурного детекта не прошли зря и показатель данный сильно вырос, причем у первого по-прежнему сохраняется очень высокое качество детекта без ложных срабатываний. Также заметно улучшение работы анти-рутким механизмов у многих вендоров.

Кирилл

могу заметить что если проследить динамику, то трендмайкро продемонстрировал в последних тестах Маркса какой-то небывалый рост детекта – в августе 2007 было 19е место (88,85%), в ноябре 2007 – 9е место (95,48%), сейчас – пятое (98,6%)

Я думаю что так резко увеличить качество работы очень сложно - думаю дело просто в том, что у маркса произошло вливание коллекции вирья от Тренда. ПРосто он включил их коллекцию в свою.

Что же касается симантека, то он всегда показывал высокие результаты на больших коллекциях и особых улучшений я не вижу, они были примерно так же хороши и раньше в подобного рода тестах.

удивил откат вниз битдефендера

ну доктор и есет как обычно

честно говоря в такой высокий детект аваст я тоже не верю

в принципе все что просочилось в СМИ по этому тесту маркс собрал у себя на сайте

http://www.av-test.org/ - ссылки в верхней новости глядите

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Что касается руткитов... если понимать под "active samples" - активные руткиты в системе, то судя по результатам - тест или куплен или руткиты выбирались наобум - без анализа того, каким способ идет маскировка - что есть, то и взял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
VirusBuster 67,7%
VirusBuster o

Заменяем в уме VirusBuster на Outpost Security Suite с новым движком.

Мне интересно происхождение цифр по фолсам. Кто-нибудь понимает, как они считаются нашими немецкими друзьями?

Предположим у Доктора или Nod32 , например, есть детект на какие-то файлы. Кто проверял, что это не вирье? Сам Маркс их разбирал ручками? <_<

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Что касается руткитов... если понимать под "active samples" - активные руткиты в системе, то судя по результатам - тест или куплен или руткиты выбирались наобум - без анализа того, каким способ идет маскировка - что есть, то и взял.

т.е. беря самплы наобум, Маркс мог взять много самплов на определенный тип маскировки, который берется одними вендорами, а другими не берется - в итоге результат перекошен?

да в этом смысле методология принятая на антималваре, когда берутся руткиты с разными типами маскировки выглядет существенно разумней.

ну не может Доктор быть хуже по чистке активных руткитов, чем Тренд, который ваще с зараженной машиной не может ничего сделать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
т.е. беря самплы наобум, Маркс мог взять много самплов на определенный тип маскировки, который берется одними вендорами, а другими не берется - в итоге результат перекошен?

да в этом смысле методология принятая на антималваре, когда берутся руткиты с разными типами маскировки выглядет существенно разумней.

ну не может Доктор быть хуже по чистке активных руткитов, чем Тренд, который ваще с зараженной машиной не может ничего сделать

Сказать - мне даже кажется, что такие результаты даже не с имитируешь, т.е. как и что не подбирай -такие результаты не получить. Хорошие результаты нода и аваста по руткитам свидетельствует о том, что руткиты брались режима пользователя, что есть глупо и неактуально. Но тогда как объяснить не отличные результат Касперского и Доктора? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Заменяем в уме VirusBuster на Outpost Security Suite с новым движком.

У VirusBuster на днях произошло очередное изменение: весьма солидный прирост числа сигнатур (порядка 40% - не в единицах %-ов теста Маркса, замечу). Как только они выпустят базы в новом формате из беты, эти же сигнатуры будут доступны с очередным апдейтом и в OSS. Уровень детекта это существенно повысит, отставание будет резко сокращено.

К тому же OSS неплохо встает на зараженных машинах - у "товарища" Нейла Рубенкинга из PC Mag все было с этим неплохо, кажется, на 8 или 9 из 12 машин еще со вторым релизным билдом OSS 2008.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
У VirusBuster на днях произошло очередное изменение: весьма солидный прирост числа сигнатур (порядка 40% - не в единицах %-ов теста Маркса, замечу). Как только они выпустят базы в новом формате из беты, эти же сигнатуры будут доступны с очередным апдейтом и в OSS. Уровень детекта это существенно повысит, отставание будет резко сокращено.

это как? Откуда вдруг они резко так взяли и на 40% наростили базу сигнатур? Вы смеетесь чтоли?

впрочем поглядим на результаты VirusBuster в следующих тестах

что же касается руткитов, то Маркс мог бы и написать на каких он тестировал - их ведь всего 12.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Нет уж извольте.. Ikarus - всего 3 ложных срабатывания?!?!?!?!

Сегодня мною чистилось 5 компьютеров, с помощью AntiVir Avira. С новыми базами. Было обнаружено 28 различных вирусов, при чем все эвристикой.

Ну не могу я поверить, что у антивира такой высокий сигнатурный детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
это как? Откуда вдруг они резко так взяли и на 40% наростили базу сигнатур? Вы смеетесь чтоли? впрочем поглядим на результаты VirusBuster в следующих тестах

Абсолютно серьезное заявление. Правда, подробности знаю смутно - кажется, у VirusBuster накопилось весьма приличное кол-во сигнатур, формат которых был несовместим со старым форматом баз. В подробностях не знаю - но с переездом их на новый движок и выходом его в релиз апдейты OSS в этот день будут весьма весомыми. (Возможно, только 1 апдейт.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Если это не запрещено:

test.doc

Думаю, так будет удобнее.

test.doc

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Честно говоря результаты по руткитам больше походят на "мне так больше нравится и друзья не будут в обиде". Ничем другим объяснить их я не могу, vaber выше все правильно написал.

Виталий Я., поделитесь инсайдерской информацией, пусть будет небольшая утечка. Кто вливает деньги в VirusBuster на всякие новые движки или 40% прирост сигнатур? :unsure:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий Я., поделитесь инсайдерской информацией, пусть будет небольшая утечка. Кто вливает деньги в VirusBuster на всякие новые движки или 40% прирост сигнатур? :unsure:

Вероятно, Microsoft - одно из ядер в решении Forefront Security - от VirusBuster.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Вероятно, Microsoft - одно из ядер в решении Forefront Security - от VirusBuster.

Виталий же написал, что вирусбастер переходил на новый движок, в процессе перехода они не смогли быстро перелинковать всю базу сигнатур ибо трудоёмко, скорее всего это были сигнатуры старого вирья. Теперь же у них это получилось - и они их добавить, но на детекте это никак особо не отразиться - вирусбастер не нарастит, а просто восстановит утраченные при переходе на новый движок силы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий же написал, что вирусбастер переходил на новый движок, в процессе перехода они не смогли быстро перелинковать всю базу сигнатур ибо трудоёмко, скорее всего это были сигнатуры старого вирья. Теперь же у них это получилось - и они их добавить, но на детекте это никак особо не отразиться - вирусбастер не нарастит, а просто восстановит утраченные при переходе на новый движок силы

Как раз напротив, это должно повлиять на уровень детекта за счет (тут могу согласиться с Иваном) добавления сигнатур старых вирусов. Общее число сигнатур вырастет, уровень детекта должен все-таки подрасти. Для миллионной выборки должен быть весьма существенный прирост детекта. Какой конкретно - ближе к апдейту баз и новому тесту Av-Test для какого-нибудь журнала узнаем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Как раз напротив, это должно повлиять на уровень детекта за счет (тут могу согласиться с Иваном) добавления сигнатур старых вирусов. Общее число сигнатур вырастет, уровень детекта должен все-таки подрасти. Для миллионной выборки должен быть весьма существенный прирост детекта. Какой конкретно - ближе к апдейту баз и новому тесту Av-Test для какого-нибудь журнала узнаем.

ну да согласен, результат будет зависеть от состава коллекции - колва старого вирья в ней

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Black Angel

По некоторым АВ результаты теста кажутся немного странными, в т.ч. по руткитам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Кстати ... кто знает сколько вирусов в базе Kaspersk'ого?

Просто мы знаем исходное кол-во вирусов (1 024 381).

Если мы знаем сколько вирусов знает касперский, то сможем посмотреть, вообще знает ли столько вирусов антивирус, сколько обнаружил в данном тесте ^_^

(по моим устаревшим данным, в базе Касперского более 500 000 вирусов(вернее не только вирусов, но и руткитов и тд))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

×