Перейти к содержанию
Александр Шабанов

Результаты теста AV-Test.org - Март 2008

Recommended Posts

Александр Шабанов

Предлагаю вниманию новый тест (март 2008) от Андреаса Маркса , в тесте был следующие метрики:

- Обнаружение по требованию ( 1,130,556 образцов);

- Обнаружение по требованию Ad-/Spyware (83.054 образцов);

- Ложные срабатывания (коллекция из 100,000 файлов);

- Скорость сканирования;

- Эвристическое обнаружение;

- Скорость реакции вирусных лабораторий (55 образцов в 2007 и 3 в 2008)

- Обнаружение руткитов (12 активных образцов)

- Лечение активного заражения (20 активных образцов)

Представлю результаты теста на общее обнаружение:

AVK (G Data) 99.91%

WebWasher-GW 99.85%

TrustPort 99.63%

AntiVir (Avira) 99.32%

Avast! 98.81%

Trend Micro 98.72%

Sophos 98.10%

Ikarus 97.98%

Nod32 (Eset) 97.85%

Microsoft 97.79%

BitDefender 97.77%

Kaspersky 97.17%

F-Secure 96.78%

F-Prot (Frisk) 96.72%

eScan 96.70%

ZoneAlarm 96.36%

AVG 96.27%

Norton 95.70%

Panda 95.62%

McAfee 95.58%

Rising 94.11%

Norman 92.79%

Fortinet-GW 92.38%

Dr Web 90.43%

VBA32 89.93%

QuickHeal (CAT) 85.65%

ClamAV 84.76%

VirusBuster 76.20%

eTrust / VET (CA) 72.07%

K7 Computing 65.50%

Результаты по остальным показателям можно посмотреть здесь (на немецком):

http://blog.chip.de/0-security-blog/maerz-...leich-20080310/

Прошу обратить внимание на следующие моменты:

- результат Microsoft

- появился сет на лечение, в котором показали лучшие результаты CA, McAfee, Symantec и Microsoft! :)

Естественно набор образцов и методология не раскрывается :)

В качестве бонуса прилагаю сравнение результатов тестов Av-comparatives.org и Av-test.com, опять же привлекла внимание разница в результатах Microsoft:

comparetests.JPG

post-3840-1205314809_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent

Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

:lol::lol::lol: Щас умру с активных руткитов. Побольше бы таких тестов.

"

...

далее идет поток галимой чепухи,

люблю, когда люди сразу говорят: "Мы лохи!" (с) группа Кирпичи

"

Мое мнение относительно профессионализма таких тестов и самих тестеров еще больше ухудшается. Не умеете - не беритесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Гы, у Маркса Microsoft по детекту кроче Касперского. А кто-то я помню говорил, что они ничего не ловят ;)

С лечением активного заражения и руткитами просто жесть, тут даже комментировать нечего.

eTrust / VET (CA) ++

McAfee ++

Microsoft ++

Norton (Symantec) ++

AntiVir (Avira) +

Dr Web +

F-Secure +

Kaspersky +

Nod32 (Eset) +

Rising +

Sophos +

Trend Micro +

VBA32 +

VirusBuster +

CA, McAfee и Microsoft лучше устраняют активное заражение :lol:

Побольше бы таких тестов.

Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Напрягает сама интерпретация результатов - плюсики, кружочки, надо еще треугольнички и звездочки добавить, будет как в начальной школе :)

А по результатам можно сказать, что попытка не засчитана :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей :D

а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

меня вот поражает неустойчивость результатов AV-Test.org, с прошлого теста прошло всего 2 месяца, а

нод32 был 20м стал 9м

симантек был шестым, стал аж восемнадцатым

AVG был седьмым, стал семнадцатым

а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

нет такой проблемы

все эти наши комменты в форумах что-то значат только для очень узкой группы людей

а на деле ни один из антивирусных вендоров официально в СМИ не заявил о своём неприятии тестов Маркса, нигде не сказал - эти тесты дерьмо и не отражают реального положения вещей. Такого нигде сказано не было и не будет.

А СМИ охотно результаты этих тестов републикуют, Маркс сотрудничает со всеми ведущими журналами и ни один из этих журналов как я понимаю не считает, что его результаты чего-то там дискридируют.

так что не надо мельтишить Сергей - Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено :P ИМХО, разумеется

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Аналогично, я высказывался по этому поводу после прошлого теста. Данимика результатов настораживает.

Интересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Такая же фигня и с VB100%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

а вендоры будут продолжать молчать полюбому

если вендор в тестах занимает хорошие позиции - ему нафиг не надо что-либо менять (болтовня в форумах не в счет, официально заявлять ничего не будут)

если вендор занимает херовую позицию то максимум чего можно ожидать это легкую критику теста - и это понятно, жесткую критику большинство воспримет так: "они этот тест просрали, вот теперь на него и наезжают"

Так что врядли стоит ожидать каких-либо изменений. А болтовня представителей вендоров в форумах, это ерунда. Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

У кого нибудь есть результаты VB100 за февраль? Интересно бы сравнить с тестом Маркса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
нтересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Прикинул кое-что :)

Сделал относительный анализ результатов за январь и март от Маркса:

1. Количество образцов в коллекции в январе - 1024381

2. Количество образцов в коллекции в марте - 1130556

3. Абсолютный прирост коллекции - 106175

Вычислил следующие показатели:

1. Абсолютный прирост кол-ва обнаруженных образцов по каждому вендору

Кол-во обнаруженных образцов в марте - Кол-во обнаруженных образцов в январе

1а. Отношение прироста кол-ва обнаруженных образцов к абсолютному приросту коллекции по каждому вендору

Абсолютный прирост кол-ва обнаруженных образцов/Абсолютный прирост коллекции

2. Максимально возможное кол-во образцов для обнаружения в марте по каждому вендору

Количество образцов в коллекции в марте - Количество обнаруженных образцов в январе

2а. Отношение максимально возможного количества образцов для обнаружения в марте к приросту количества обнаруженных образцов в марте.

Прирост обнаруженных образцов в марте по каждому вендору/Максимально возможное количество образцов для обнаружения на март

Построил диаграмму по показателям 1а и 2а:

avtest.JPG

Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора :)

Из лидеров выделяется Eset :)

post-3840-1205330499_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора smile.gif

Из лидеров выделяется Eset smile.gif

Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января. Для этого вариант на самом деле два: 1. Слив Марксом своей коллекции этим вендорам. 2. Докрутка детекта под эту коллекцию своими силами.

Прогресс Доктора, ВБА и Исет поражает :)

С моей точки зрения подозрительно все, где параметр 1а больше единицы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Нашел источник на английском с комментариями Маркса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen

Прогресс действительно хороший :)

Но:

1. Маркс нам ничего не сливал

2. Ничего специально под данную коллекцию мы не подкручивали

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Матом не крыл :) Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
1. Маркс нам ничего не сливал

А если попросить его, сольет интересно? :)

Если без коллекции такой прогресс, то если удастся найти подход к Марксу и получить хотя бы часть коллекции, то можно как минимум подняться как Trend Micro в последних тестах ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Матом не крыл :) Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов) :)

Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова, я ни на минуту в этом не сомневался :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова

Они просто о разном. Но не вижу ничего плохого и в том, если какой-то из тестов антивирусов для меня окажется более значимым, чем для Бориса Шарова. Тесты сотрудниками обсуждаются достаточно часто, и у разных сотрудников часто разное мнение. Это нормально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено :P ИМХО, разумеется

я вашей уверенностью по поводу проплаченности не обладаю

но вот то, что по версии Маркса Доктор Веб и Касперский хуже в обнаружении активных руткитов, чем Панда и Тренд Майкро для меня несколько удивительно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января.

если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

In case of the actual testing, we first checked the signature-based on-demand detection of all products against more than 1.1 million inactive samples we've found spreading or which were distributed during the last two months which means, we have not used any "historic" samples.

а значит если ему верить, то пофигу передает он коллекции вендорам или нет и быстро ли они разгребают эти коллекции или нет - ничего не поможет, самплы для каждого нового теста новые.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

Не сходится! Миллион новых самплов за 3 месяца ... не слишком ли круто? Или же он просто не разгребал коллекцию толком и там куча одинаковых самплов, мусор и т.д.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Можно объяснить источниками коллекции, то какой смысл эти источники менять постоянно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Миллион новых самплов за 3 месяца

По словам Маркса за два месяца :)

During January and February 2008 alone we found more than 1.1 million samples spreading in the internet.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×