Перейти к содержанию
Александр Шабанов

Тест антивирусов от AV-Test.org (Январь 2008)

Recommended Posts

Александр Шабанов

Вышла очередная публикация теста от Маркса (Av-test.com), на этот раз отчет получился расширенным, него входит отдельно статистика по сингнатурному детекту, ложные срабатывания, время реакции на новые угрозы и детект скрытых угроз (руткитов), итак результаты следующие:

Сигнатурный детект:

WebWasher 99,9%

AVK 2008 99,8%

AntiVir 99,6%

Avast! 99,4%

Trend Micro 98,6%

Symantec 98,3%

AVG 98,1%

BitDefender 98,0%

Kaspersky 98,0%

Ikarus 97,9%

Sophos 97,8%

F-Secure 97,6%

Microsoft 96,9%

F-Prot 96,3%

Panda 95,6%

Rising 94,0%

Norman 93,9%

McAfee 93,7%

Fortinet 93,5%

Nod32 93,1%

Dr Web 86,7%

VBA32 86,4%

QuickHeal 84,2%

ClamAV 77,3%

Command 71,2%

VirusBuster 67,7%

K7 Computing 55,8%

eTrust-VET 55,3%

Ложные срабатывания:

eTrust-VET ++

McAfee ++

Microsoft ++

Symantec ++

AntiVir +

AVG +

Command +

F-Prot +

F-Secure +

Nod32 +

Norman +

Sophos +

Trend Micro +

VirusBuster +

Avast! o

AVK 2008 o

BitDefender o

Dr Web o

K7 Computing o

Kaspersky o

Panda o

QuickHeal o

Rising o

VBA32 o

WebWasher o

ClamAV -

Ikarus -

Fortinet –

------------

++ = 0 False-Positives

+ = 1 False-Positive

o = 2 False-Positive

- = 3 False-Positive

– = более 3х

Детект руткитов(12 самплов):

F-Secure ++

Panda ++

Symantec ++

Trend Micro ++

AntiVir +

Avast! +

AVG +

BitDefender +

Dr Web +

eTrust-VET +

Kaspersky +

McAfee +

Nod32 +

Sophos +

F-Prot o

Ikarus o

Microsoft o

Norman o

Rising o

VBA32 o

VirusBuster o

AVK 2008 -

QuickHeal -

ClamAV –

Command –

K7 Computing –

Fortinet n/a (gateway product)

WebWasher n/a (gateway product)

Legende (Rootkit-Erkennung)

++ = очень хорошо (все обнаружены)

+ = хорошо (1 не обнаружен)

o = 2 не обнаружен

- = 3 не обнаружено

– = больше 3х

Полную итоговую таблицу можно посмотреть здесь

Ваши комментарии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kokunov Aleksey

что то как то не очень :)

Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Кирилл Керценбаум
Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Все что есть: http://sunbeltblog.blogspot.com/2008/01/la...sults-from.html, более подробного описания не удалось найти.

Очень интересные результаты, первая тройка идет очень близко с очень хорошими показателями, Symantec и Trend Micro показали что последние усилия по улучшению качества сигнатурного детекта не прошли зря и показатель данный сильно вырос, причем у первого по-прежнему сохраняется очень высокое качество детекта без ложных срабатываний. Также заметно улучшение работы анти-рутким механизмов у многих вендоров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
что то как то не очень

Хотелось бы детализацию посмотреть, какие например руткиты не нахйдены, на чем ложняки, настройки при сигнатурном сканировании...

Лично мне этого у Маркса получить ни разу не удалось... Как и подробной информации о происхождении коллекции и ее содержиимом. Сколько там чего, есть ли битые, мертвые и чистые файлы. Даже грустно за полную закрытость результатов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Больше всего удивило отличие результатов этого теста от результатов их предыдущих тестов.

В общем, очень неоднозначный результат.

Видимо, методология сильно поменялась. Или спонсоры.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

А то что Avast по сравнению с ноябрем с 11 на 4 место поднялся и увеличил детект с 95,24% до 99,4% никого не удивляет? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
А то что Avast по сравнению с ноябрем с 11 на 4 место поднялся и увеличил детект с 95,24% до 99,4% никого не удивляет? smile.gif

Это может говорить о том, что коллекция составлена почти сплошь из семплов Аваста. Малое количество ложных срабатываний у этого антивируса при таком детекте настораживает.

Кстати, какое количество сэмплов было в тесте на общий детект?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Кстати, какое количество сэмплов было в тесте на общий детект?

1024381 :)

Похоже там присутсвует куча мусора, и одинаковые самплы, другое объяснение такому гиганскому числу не могу дать :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Все что есть: http://sunbeltblog.blogspot.com/2008/01/la...sults-from.html, более подробного описания не удалось найти.

Очень интересные результаты, первая тройка идет очень близко с очень хорошими показателями, Symantec и Trend Micro показали что последние усилия по улучшению качества сигнатурного детекта не прошли зря и показатель данный сильно вырос, причем у первого по-прежнему сохраняется очень высокое качество детекта без ложных срабатываний. Также заметно улучшение работы анти-рутким механизмов у многих вендоров.

Кирилл

могу заметить что если проследить динамику, то трендмайкро продемонстрировал в последних тестах Маркса какой-то небывалый рост детекта – в августе 2007 было 19е место (88,85%), в ноябре 2007 – 9е место (95,48%), сейчас – пятое (98,6%)

Я думаю что так резко увеличить качество работы очень сложно - думаю дело просто в том, что у маркса произошло вливание коллекции вирья от Тренда. ПРосто он включил их коллекцию в свою.

Что же касается симантека, то он всегда показывал высокие результаты на больших коллекциях и особых улучшений я не вижу, они были примерно так же хороши и раньше в подобного рода тестах.

удивил откат вниз битдефендера

ну доктор и есет как обычно

честно говоря в такой высокий детект аваст я тоже не верю

в принципе все что просочилось в СМИ по этому тесту маркс собрал у себя на сайте

http://www.av-test.org/ - ссылки в верхней новости глядите

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Что касается руткитов... если понимать под "active samples" - активные руткиты в системе, то судя по результатам - тест или куплен или руткиты выбирались наобум - без анализа того, каким способ идет маскировка - что есть, то и взял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
VirusBuster 67,7%
VirusBuster o

Заменяем в уме VirusBuster на Outpost Security Suite с новым движком.

Мне интересно происхождение цифр по фолсам. Кто-нибудь понимает, как они считаются нашими немецкими друзьями?

Предположим у Доктора или Nod32 , например, есть детект на какие-то файлы. Кто проверял, что это не вирье? Сам Маркс их разбирал ручками? <_<

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Что касается руткитов... если понимать под "active samples" - активные руткиты в системе, то судя по результатам - тест или куплен или руткиты выбирались наобум - без анализа того, каким способ идет маскировка - что есть, то и взял.

т.е. беря самплы наобум, Маркс мог взять много самплов на определенный тип маскировки, который берется одними вендорами, а другими не берется - в итоге результат перекошен?

да в этом смысле методология принятая на антималваре, когда берутся руткиты с разными типами маскировки выглядет существенно разумней.

ну не может Доктор быть хуже по чистке активных руткитов, чем Тренд, который ваще с зараженной машиной не может ничего сделать

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
т.е. беря самплы наобум, Маркс мог взять много самплов на определенный тип маскировки, который берется одними вендорами, а другими не берется - в итоге результат перекошен?

да в этом смысле методология принятая на антималваре, когда берутся руткиты с разными типами маскировки выглядет существенно разумней.

ну не может Доктор быть хуже по чистке активных руткитов, чем Тренд, который ваще с зараженной машиной не может ничего сделать

Сказать - мне даже кажется, что такие результаты даже не с имитируешь, т.е. как и что не подбирай -такие результаты не получить. Хорошие результаты нода и аваста по руткитам свидетельствует о том, что руткиты брались режима пользователя, что есть глупо и неактуально. Но тогда как объяснить не отличные результат Касперского и Доктора? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Заменяем в уме VirusBuster на Outpost Security Suite с новым движком.

У VirusBuster на днях произошло очередное изменение: весьма солидный прирост числа сигнатур (порядка 40% - не в единицах %-ов теста Маркса, замечу). Как только они выпустят базы в новом формате из беты, эти же сигнатуры будут доступны с очередным апдейтом и в OSS. Уровень детекта это существенно повысит, отставание будет резко сокращено.

К тому же OSS неплохо встает на зараженных машинах - у "товарища" Нейла Рубенкинга из PC Mag все было с этим неплохо, кажется, на 8 или 9 из 12 машин еще со вторым релизным билдом OSS 2008.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
У VirusBuster на днях произошло очередное изменение: весьма солидный прирост числа сигнатур (порядка 40% - не в единицах %-ов теста Маркса, замечу). Как только они выпустят базы в новом формате из беты, эти же сигнатуры будут доступны с очередным апдейтом и в OSS. Уровень детекта это существенно повысит, отставание будет резко сокращено.

это как? Откуда вдруг они резко так взяли и на 40% наростили базу сигнатур? Вы смеетесь чтоли?

впрочем поглядим на результаты VirusBuster в следующих тестах

что же касается руткитов, то Маркс мог бы и написать на каких он тестировал - их ведь всего 12.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Нет уж извольте.. Ikarus - всего 3 ложных срабатывания?!?!?!?!

Сегодня мною чистилось 5 компьютеров, с помощью AntiVir Avira. С новыми базами. Было обнаружено 28 различных вирусов, при чем все эвристикой.

Ну не могу я поверить, что у антивира такой высокий сигнатурный детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
это как? Откуда вдруг они резко так взяли и на 40% наростили базу сигнатур? Вы смеетесь чтоли? впрочем поглядим на результаты VirusBuster в следующих тестах

Абсолютно серьезное заявление. Правда, подробности знаю смутно - кажется, у VirusBuster накопилось весьма приличное кол-во сигнатур, формат которых был несовместим со старым форматом баз. В подробностях не знаю - но с переездом их на новый движок и выходом его в релиз апдейты OSS в этот день будут весьма весомыми. (Возможно, только 1 апдейт.)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Если это не запрещено:

test.doc

Думаю, так будет удобнее.

test.doc

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Честно говоря результаты по руткитам больше походят на "мне так больше нравится и друзья не будут в обиде". Ничем другим объяснить их я не могу, vaber выше все правильно написал.

Виталий Я., поделитесь инсайдерской информацией, пусть будет небольшая утечка. Кто вливает деньги в VirusBuster на всякие новые движки или 40% прирост сигнатур? :unsure:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий Я., поделитесь инсайдерской информацией, пусть будет небольшая утечка. Кто вливает деньги в VirusBuster на всякие новые движки или 40% прирост сигнатур? :unsure:

Вероятно, Microsoft - одно из ядер в решении Forefront Security - от VirusBuster.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Вероятно, Microsoft - одно из ядер в решении Forefront Security - от VirusBuster.

Виталий же написал, что вирусбастер переходил на новый движок, в процессе перехода они не смогли быстро перелинковать всю базу сигнатур ибо трудоёмко, скорее всего это были сигнатуры старого вирья. Теперь же у них это получилось - и они их добавить, но на детекте это никак особо не отразиться - вирусбастер не нарастит, а просто восстановит утраченные при переходе на новый движок силы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий же написал, что вирусбастер переходил на новый движок, в процессе перехода они не смогли быстро перелинковать всю базу сигнатур ибо трудоёмко, скорее всего это были сигнатуры старого вирья. Теперь же у них это получилось - и они их добавить, но на детекте это никак особо не отразиться - вирусбастер не нарастит, а просто восстановит утраченные при переходе на новый движок силы

Как раз напротив, это должно повлиять на уровень детекта за счет (тут могу согласиться с Иваном) добавления сигнатур старых вирусов. Общее число сигнатур вырастет, уровень детекта должен все-таки подрасти. Для миллионной выборки должен быть весьма существенный прирост детекта. Какой конкретно - ближе к апдейту баз и новому тесту Av-Test для какого-нибудь журнала узнаем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Как раз напротив, это должно повлиять на уровень детекта за счет (тут могу согласиться с Иваном) добавления сигнатур старых вирусов. Общее число сигнатур вырастет, уровень детекта должен все-таки подрасти. Для миллионной выборки должен быть весьма существенный прирост детекта. Какой конкретно - ближе к апдейту баз и новому тесту Av-Test для какого-нибудь журнала узнаем.

ну да согласен, результат будет зависеть от состава коллекции - колва старого вирья в ней

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Black Angel

По некоторым АВ результаты теста кажутся немного странными, в т.ч. по руткитам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Кстати ... кто знает сколько вирусов в базе Kaspersk'ого?

Просто мы знаем исходное кол-во вирусов (1 024 381).

Если мы знаем сколько вирусов знает касперский, то сможем посмотреть, вообще знает ли столько вирусов антивирус, сколько обнаружил в данном тесте ^_^

(по моим устаревшим данным, в базе Касперского более 500 000 вирусов(вернее не только вирусов, но и руткитов и тд))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
    • demkd
      Если пишет что файлов нет то так оно и есть, по пути в принципе видно, что их там точно быть не может.
      Проблема же в том что при запуске под SYSTEM, API windows не способен правильно разбирать некоторые ярлыки, где не указан абсолютный путь, такие ярлыки меняют цель в зависимости от того под каким пользователем работает конкретный процесс, зачем это сделал microsoft для меня загадка.
      Единственное решение - это написать api для разбора любых ярлыков с нуля и добавить еще нехилую надстройку для анализа относительных путей в них, но это довольно сложная задача и на данный момент реализована лишь в малой части и скорее всего никогда не будет реализована на 100%.
      Потому если хочется удалить ссылки на отсутствующие объекты имеющие ярлыки то нужно запускаться под текущим пользователем, проблем будет меньше... если пользователь один Все системные файлы имеют внешнюю эцп и вполне определенные имена.
×