Александр Шабанов

Тест антивирусов от AV-Test.org (Январь 2008)

В этой теме 38 сообщений

Вышла очередная публикация теста от Маркса (Av-test.com), на этот раз отчет получился расширенным, него входит отдельно статистика по сингнатурному детекту, ложные срабатывания, время реакции на новые угрозы и детект скрытых угроз (руткитов), итак результаты следующие:

Сигнатурный детект:

WebWasher 99,9%

AVK 2008 99,8%

AntiVir 99,6%

Avast! 99,4%

Trend Micro 98,6%

Symantec 98,3%

AVG 98,1%

BitDefender 98,0%

Kaspersky 98,0%

Ikarus 97,9%

Sophos 97,8%

F-Secure 97,6%

Microsoft 96,9%

F-Prot 96,3%

Panda 95,6%

Rising 94,0%

Norman 93,9%

McAfee 93,7%

Fortinet 93,5%

Nod32 93,1%

Dr Web 86,7%

VBA32 86,4%

QuickHeal 84,2%

ClamAV 77,3%

Command 71,2%

VirusBuster 67,7%

K7 Computing 55,8%

eTrust-VET 55,3%

Ложные срабатывания:

eTrust-VET ++

McAfee ++

Microsoft ++

Symantec ++

AntiVir +

AVG +

Command +

F-Prot +

F-Secure +

Nod32 +

Norman +

Sophos +

Trend Micro +

VirusBuster +

Avast! o

AVK 2008 o

BitDefender o

Dr Web o

K7 Computing o

Kaspersky o

Panda o

QuickHeal o

Rising o

VBA32 o

WebWasher o

ClamAV -

Ikarus -

Fortinet –

------------

++ = 0 False-Positives

+ = 1 False-Positive

o = 2 False-Positive

- = 3 False-Positive

– = более 3х

Детект руткитов(12 самплов):

F-Secure ++

Panda ++

Symantec ++

Trend Micro ++

AntiVir +

Avast! +

AVG +

BitDefender +

Dr Web +

eTrust-VET +

Kaspersky +

McAfee +

Nod32 +

Sophos +

F-Prot o

Ikarus o

Microsoft o

Norman o

Rising o

VBA32 o

VirusBuster o

AVK 2008 -

QuickHeal -

ClamAV –

Command –

K7 Computing –

Fortinet n/a (gateway product)

WebWasher n/a (gateway product)

Legende (Rootkit-Erkennung)

++ = очень хорошо (все обнаружены)

+ = хорошо (1 не обнаружен)

o = 2 не обнаружен

- = 3 не обнаружено

– = больше 3х

Полную итоговую таблицу можно посмотреть здесь

Ваши комментарии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

что то как то не очень :)

Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Все что есть: http://sunbeltblog.blogspot.com/2008/01/la...sults-from.html, более подробного описания не удалось найти.

Очень интересные результаты, первая тройка идет очень близко с очень хорошими показателями, Symantec и Trend Micro показали что последние усилия по улучшению качества сигнатурного детекта не прошли зря и показатель данный сильно вырос, причем у первого по-прежнему сохраняется очень высокое качество детекта без ложных срабатываний. Также заметно улучшение работы анти-рутким механизмов у многих вендоров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
что то как то не очень

Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Лично мне этого у Маркса получить ни разу не удалось... Как и подробной информации о происхождении коллекции и ее содержиимом. Сколько там чего, есть ли битые, мертвые и чистые файлы. Даже грустно за полную закрытость результатов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Больше всего удивило отличие результатов этого теста от результатов их предыдущих тестов.

В общем, очень неоднозначный результат.

Видимо, методология сильно поменялась. Или спонсоры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А то что Avast по сравнению с ноябрем с 11 на 4 место поднялся и увеличил детект с 95,24% до 99,4% никого не удивляет? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А то что Avast по сравнению с ноябрем с 11 на 4 место поднялся и увеличил детект с 95,24% до 99,4% никого не удивляет? smile.gif

Это может говорить о том, что коллекция составлена почти сплошь из семплов Аваста. Малое количество ложных срабатываний у этого антивируса при таком детекте настораживает.

Кстати, какое количество сэмплов было в тесте на общий детект?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Кстати, какое количество сэмплов было в тесте на общий детект?

1024381 :)

Похоже там присутсвует куча мусора, и одинаковые самплы, другое объяснение такому гиганскому числу не могу дать :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Все что есть: http://sunbeltblog.blogspot.com/2008/01/la...sults-from.html, более подробного описания не удалось найти.

Очень интересные результаты, первая тройка идет очень близко с очень хорошими показателями, Symantec и Trend Micro показали что последние усилия по улучшению качества сигнатурного детекта не прошли зря и показатель данный сильно вырос, причем у первого по-прежнему сохраняется очень высокое качество детекта без ложных срабатываний. Также заметно улучшение работы анти-рутким механизмов у многих вендоров.

Кирилл

могу заметить что если проследить динамику, то трендмайкро продемонстрировал в последних тестах Маркса какой-то небывалый рост детекта – в августе 2007 было 19е место (88,85%), в ноябре 2007 – 9е место (95,48%), сейчас – пятое (98,6%)

Я думаю что так резко увеличить качество работы очень сложно - думаю дело просто в том, что у маркса произошло вливание коллекции вирья от Тренда. ПРосто он включил их коллекцию в свою.

Что же касается симантека, то он всегда показывал высокие результаты на больших коллекциях и особых улучшений я не вижу, они были примерно так же хороши и раньше в подобного рода тестах.

удивил откат вниз битдефендера

ну доктор и есет как обычно

честно говоря в такой высокий детект аваст я тоже не верю

в принципе все что просочилось в СМИ по этому тесту маркс собрал у себя на сайте

http://www.av-test.org/ - ссылки в верхней новости глядите

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Что касается руткитов... если понимать под "active samples" - активные руткиты в системе, то судя по результатам - тест или куплен или руткиты выбирались наобум - без анализа того, каким способ идет маскировка - что есть, то и взял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
VirusBuster 67,7%
VirusBuster o

Заменяем в уме VirusBuster на Outpost Security Suite с новым движком.

Мне интересно происхождение цифр по фолсам. Кто-нибудь понимает, как они считаются нашими немецкими друзьями?

Предположим у Доктора или Nod32 , например, есть детект на какие-то файлы. Кто проверял, что это не вирье? Сам Маркс их разбирал ручками? <_<

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Что касается руткитов... если понимать под "active samples" - активные руткиты в системе, то судя по результатам - тест или куплен или руткиты выбирались наобум - без анализа того, каким способ идет маскировка - что есть, то и взял.

т.е. беря самплы наобум, Маркс мог взять много самплов на определенный тип маскировки, который берется одними вендорами, а другими не берется - в итоге результат перекошен?

да в этом смысле методология принятая на антималваре, когда берутся руткиты с разными типами маскировки выглядет существенно разумней.

ну не может Доктор быть хуже по чистке активных руткитов, чем Тренд, который ваще с зараженной машиной не может ничего сделать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
т.е. беря самплы наобум, Маркс мог взять много самплов на определенный тип маскировки, который берется одними вендорами, а другими не берется - в итоге результат перекошен?

да в этом смысле методология принятая на антималваре, когда берутся руткиты с разными типами маскировки выглядет существенно разумней.

ну не может Доктор быть хуже по чистке активных руткитов, чем Тренд, который ваще с зараженной машиной не может ничего сделать

Сказать - мне даже кажется, что такие результаты даже не с имитируешь, т.е. как и что не подбирай -такие результаты не получить. Хорошие результаты нода и аваста по руткитам свидетельствует о том, что руткиты брались режима пользователя, что есть глупо и неактуально. Но тогда как объяснить не отличные результат Касперского и Доктора? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Заменяем в уме VirusBuster на Outpost Security Suite с новым движком.

У VirusBuster на днях произошло очередное изменение: весьма солидный прирост числа сигнатур (порядка 40% - не в единицах %-ов теста Маркса, замечу). Как только они выпустят базы в новом формате из беты, эти же сигнатуры будут доступны с очередным апдейтом и в OSS. Уровень детекта это существенно повысит, отставание будет резко сокращено.

К тому же OSS неплохо встает на зараженных машинах - у "товарища" Нейла Рубенкинга из PC Mag все было с этим неплохо, кажется, на 8 или 9 из 12 машин еще со вторым релизным билдом OSS 2008.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
У VirusBuster на днях произошло очередное изменение: весьма солидный прирост числа сигнатур (порядка 40% - не в единицах %-ов теста Маркса, замечу). Как только они выпустят базы в новом формате из беты, эти же сигнатуры будут доступны с очередным апдейтом и в OSS. Уровень детекта это существенно повысит, отставание будет резко сокращено.

это как? Откуда вдруг они резко так взяли и на 40% наростили базу сигнатур? Вы смеетесь чтоли?

впрочем поглядим на результаты VirusBuster в следующих тестах

что же касается руткитов, то Маркс мог бы и написать на каких он тестировал - их ведь всего 12.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет уж извольте.. Ikarus - всего 3 ложных срабатывания?!?!?!?!

Сегодня мною чистилось 5 компьютеров, с помощью AntiVir Avira. С новыми базами. Было обнаружено 28 различных вирусов, при чем все эвристикой.

Ну не могу я поверить, что у антивира такой высокий сигнатурный детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
это как? Откуда вдруг они резко так взяли и на 40% наростили базу сигнатур? Вы смеетесь чтоли? впрочем поглядим на результаты VirusBuster в следующих тестах

Абсолютно серьезное заявление. Правда, подробности знаю смутно - кажется, у VirusBuster накопилось весьма приличное кол-во сигнатур, формат которых был несовместим со старым форматом баз. В подробностях не знаю - но с переездом их на новый движок и выходом его в релиз апдейты OSS в этот день будут весьма весомыми. (Возможно, только 1 апдейт.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Честно говоря результаты по руткитам больше походят на "мне так больше нравится и друзья не будут в обиде". Ничем другим объяснить их я не могу, vaber выше все правильно написал.

Виталий Я., поделитесь инсайдерской информацией, пусть будет небольшая утечка. Кто вливает деньги в VirusBuster на всякие новые движки или 40% прирост сигнатур? :unsure:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я., поделитесь инсайдерской информацией, пусть будет небольшая утечка. Кто вливает деньги в VirusBuster на всякие новые движки или 40% прирост сигнатур? :unsure:

Вероятно, Microsoft - одно из ядер в решении Forefront Security - от VirusBuster.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вероятно, Microsoft - одно из ядер в решении Forefront Security - от VirusBuster.

Виталий же написал, что вирусбастер переходил на новый движок, в процессе перехода они не смогли быстро перелинковать всю базу сигнатур ибо трудоёмко, скорее всего это были сигнатуры старого вирья. Теперь же у них это получилось - и они их добавить, но на детекте это никак особо не отразиться - вирусбастер не нарастит, а просто восстановит утраченные при переходе на новый движок силы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий же написал, что вирусбастер переходил на новый движок, в процессе перехода они не смогли быстро перелинковать всю базу сигнатур ибо трудоёмко, скорее всего это были сигнатуры старого вирья. Теперь же у них это получилось - и они их добавить, но на детекте это никак особо не отразиться - вирусбастер не нарастит, а просто восстановит утраченные при переходе на новый движок силы

Как раз напротив, это должно повлиять на уровень детекта за счет (тут могу согласиться с Иваном) добавления сигнатур старых вирусов. Общее число сигнатур вырастет, уровень детекта должен все-таки подрасти. Для миллионной выборки должен быть весьма существенный прирост детекта. Какой конкретно - ближе к апдейту баз и новому тесту Av-Test для какого-нибудь журнала узнаем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Как раз напротив, это должно повлиять на уровень детекта за счет (тут могу согласиться с Иваном) добавления сигнатур старых вирусов. Общее число сигнатур вырастет, уровень детекта должен все-таки подрасти. Для миллионной выборки должен быть весьма существенный прирост детекта. Какой конкретно - ближе к апдейту баз и новому тесту Av-Test для какого-нибудь журнала узнаем.

ну да согласен, результат будет зависеть от состава коллекции - колва старого вирья в ней

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По некоторым АВ результаты теста кажутся немного странными, в т.ч. по руткитам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Кстати ... кто знает сколько вирусов в базе Kaspersk'ого?

Просто мы знаем исходное кол-во вирусов (1 024 381).

Если мы знаем сколько вирусов знает касперский, то сможем посмотреть, вообще знает ли столько вирусов антивирус, сколько обнаружил в данном тесте ^_^

(по моим устаревшим данным, в базе Касперского более 500 000 вирусов(вернее не только вирусов, но и руткитов и тд))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Обновляю: https://mega.nz/#!0FYBnRzT!Kh8GaRMVOzm99QJZX0NsDD51vDaFzPI-Vil02kw53rQ
    • Sergey22101979s
      Площадку надо свою делать и развивать её. А потом продавать места на ней. И не важно какую площадку - сайт, группу в соцсети, или что-то тому подобное.
    • homeobed
      На дому за копейки работать - дело нехитрое) Вот чтобы зарабатывать приличные деньги, на одних комментариях далеко не уедешь)
    • Mike
      Вышел McAfee VirusScan Enterprise 8.8.0 Patch 10  
    • Wenderoy
      Да, лучше удалить. Но это, разумеется, решает администрация... Я никакой не тролль, ANDYBOND прекрасно это понимает, просто именно с ним был разлад безо всякой причины, подробности приводить не буду, но теперь он старается как можно больше "навредить" мне. Собственно, вот отзывы про PS - https://www.mywot.com/ru/scorecard/provisionsecurity.ru Думаю, комментарии будут излишними. Есть очень много свидетелей, которых "примерная" администрация Provisionsecurity даже "поливала" нецензурной лексикой, у меня есть все скриншоты и т. д. И после всего этого надо подумать, а стоит ли верить таким людям? Это я в качестве отступления. Главное - то, что я устал здесь распинаться, тратя свое личное время, что идет только на руку уже упомянутым участниками форума. Все, что мне надо было доказать, я доказал, пользователи моего приложения знают и понимают мои цели и стремления, я ни от кого ничего не скрываю. Поэтому программу уже используют многие, а это значит, что дело поставлено на рельсы. Самое смешное, что на каждый мой аргумент, который я не поленился снабдить всей необходимой информацией в форме ссылок, скриншотов, записей, копий писем, сообщений лабораторий etc, в ответ мне летят одни и те же фразы: "мошенник", "вирусописатель", "тролль". Так кто же больше попадает под значение последнего слова? Просто упомяну еще пару вещей. Когда я объяснял, почему продукт детектит пустой файл, все равно меня никто не слышал. Каким же, интересно, образом мне следует растолковать это? Были приведены доказательства, что я часть баз собираю с ресурса VirusShare (благо, имеются очень хорошие источники самой разнообразной информации), где AVP в свое время почему-то пометил файл как Trojan... (где-то на предыдущих страницах все чрезвычайно подробно описано). Так вот, копируя MD5, в комплект попала и хеш-сумма пустого файла, вследствие чего как бы Вы его ни переименовывали, все рано будет сработка продукта (кстати, ее уже нет). Далее. Насчет "мошенник" и "вирусописатель". Если зимние переписки (не просто отчетов автоматического анализа лабораторий) с вирусным аналитиком McAfee ни о чем Вам не говорят, это, как говорится, не мои проблемы. Другие вендоры, да практически все (даже популярные Avast, Qihoo и др.) устанавливаются втихомолку вместе с другим ПО (DRP Solutions, различные дополнения для монетизации в пакеты дистрибутивов), но их Вы почему-то "вирусописателями"  не называете. И последнее. Насчет "мошенник". Я никого не принуждаю устанавливать KAR, каждый делает это добровольно. Лицензионное соглашение и Privacy Statment присутствуют на сайте, там все четко и ясно описано. На сервер высылаются исключительно анонимные отчеты, как и в любых других разработках аналогичного типа, не более того.  Kuranin Anti-Ransomware распространяется абсолютно бесплатно, никакой рекламы ни в продукте, ни даже на сайте, т. к. это мое хобби. Поэтому здесь не вижу ничего, связанного с мошенничеством. Это очень краткое обобщение, все мои подробные ночные отписки на однотипные бессмысленные сообщения можно посмотреть, листая предыдущие ни много ни мало двенадцать страниц. @VMS, радует, что еще есть адекватные люди, которые умеют слушать. Да, к сожалению, это не те времена, когда жизнь кипела в каждом уголке Anti-Malware и других подобных форумов. Обидно, что перевились разработчики-добровольцы, которые были очень активны в 2004-2014 годах. Сейчас в основном крупные компании все вытеснили, да есть те, кто просто сдался (Александр Калинин, его судьба мне не известна, но смею предположить, что он воплотил свое хобби в жизнь; Kerish, который, правда, стал чрезвычайно полезной утилитой Kerish Doctor, а ведь совсем немногие знают прошлое этого творения; ScreamAV, бесплатныq антивирус то ли из Индонезии, то ли с Филиппин; путем долгого анализа удалось выяснить, что создатели данного антивируса примкнули к проекту SmadAV;  SMK антивирус, когда-то известный в узких кругах; "Зоркий глаз" Петелина Александра;  AWS Core, приостановивший свое развитие и т. п.) Вообще обожаю древние сайты, особенно варианты на narod.ru и им подобные, пропахшие стариной и историей. Очень приятные ощущения, как будто бы открыл давно забытую, но вновь найденную на чердаке книгу с пожелтевшими от времени листами.  А еще очень много полезных ресурсов, которых уже нет, но они сохранились в "архиве". Все это "богатство" сложно отыскать, но зато там есть чрезвычайно много полезной информации... Вот, кстати, один из примеров: https://web.archive.org/web/20040905203536/http://www.winchanger.narod.ru:80/ Или https://web.archive.org/web/20070624081145/http://winchanger.whatis.ru:80/ Как бонус прилагаю собственную коллекцию малоизвестных продуктов любителей информационной безопасности, среди них, кстати, все вышеупомянутые образцы! https://mega.nz/#!tZBkkCKa!0WzfYt4A1zK4aCvVLtu3FLt7pfPIp7wWtyPIr9c-cbo Может, кому пригодится...