Результаты теста AV-Test.org - Март 2008

[Александр Шабанов 120]

Предлагаю вниманию новый тест (март 2008) от Андреаса Маркса , в тесте был следующие метрики:

- Обнаружение по требованию ( 1,130,556 образцов);

- Обнаружение по требованию Ad-/Spyware (83.054 образцов);

- Ложные срабатывания (коллекция из 100,000 файлов);

- Скорость сканирования;

- Эвристическое обнаружение;

- Скорость реакции вирусных лабораторий (55 образцов в 2007 и 3 в 2008)

- Обнаружение руткитов (12 активных образцов)

- Лечение активного заражения (20 активных образцов)

Представлю результаты теста на общее обнаружение:

AVK (G Data) 99.91%

WebWasher-GW 99.85%

TrustPort 99.63%

AntiVir (Avira) 99.32%

Avast! 98.81%

Trend Micro 98.72%

Sophos 98.10%

Ikarus 97.98%

Nod32 (Eset) 97.85%

Microsoft 97.79%

BitDefender 97.77%

Kaspersky 97.17%

F-Secure 96.78%

F-Prot (Frisk) 96.72%

eScan 96.70%

ZoneAlarm 96.36%

AVG 96.27%

Norton 95.70%

Panda 95.62%

McAfee 95.58%

Rising 94.11%

Norman 92.79%

Fortinet-GW 92.38%

Dr Web 90.43%

VBA32 89.93%

QuickHeal (CAT) 85.65%

ClamAV 84.76%

VirusBuster 76.20%

eTrust / VET (CA) 72.07%

K7 Computing 65.50%

Результаты по остальным показателям можно посмотреть здесь (на немецком):

http://blog.chip.de/0-security-blog/maerz-...leich-20080310/

Прошу обратить внимание на следующие моменты:

- результат Microsoft

- появился сет на лечение, в котором показали лучшие результаты CA, McAfee, Symantec и Microsoft!

Естественно набор образцов и методология не раскрывается

В качестве бонуса прилагаю сравнение результатов тестов Av-comparatives.org и Av-test.com, опять же привлекла внимание разница в результатах Microsoft:

[dot_sent 140]

Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

[alexgr 556]

Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей

[sww 486]

Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

Щас умру с активных руткитов. Побольше бы таких тестов.

"

...

далее идет поток галимой чепухи,

люблю, когда люди сразу говорят: "Мы лохи!" (с) группа Кирпичи

"

Мое мнение относительно профессионализма таких тестов и самих тестеров еще больше ухудшается. Не умеете - не беритесь.

[Сергей Ильин 1538]

Гы, у Маркса Microsoft по детекту кроче Касперского. А кто-то я помню говорил, что они ничего не ловят

С лечением активного заражения и руткитами просто жесть, тут даже комментировать нечего.

eTrust / VET (CA) ++

McAfee ++

Microsoft ++

Norton (Symantec) ++

AntiVir (Avira) +

Dr Web +

F-Secure +

Kaspersky +

Nod32 (Eset) +

Rising +

Sophos +

Trend Micro +

VBA32 +

VirusBuster +

CA, McAfee и Microsoft лучше устраняют активное заражение

Побольше бы таких тестов.

Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

[Александр Шабанов 120]

Напрягает сама интерпретация результатов - плюсики, кружочки, надо еще треугольнички и звездочки добавить, будет как в начальной школе

А по результатам можно сказать, что попытка не засчитана

[Иван 290]

Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей

а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

меня вот поражает неустойчивость результатов AV-Test.org, с прошлого теста прошло всего 2 месяца, а

нод32 был 20м стал 9м

симантек был шестым, стал аж восемнадцатым

AVG был седьмым, стал семнадцатым

а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

[Иван 290]

Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

нет такой проблемы

все эти наши комменты в форумах что-то значат только для очень узкой группы людей

а на деле ни один из антивирусных вендоров официально в СМИ не заявил о своём неприятии тестов Маркса, нигде не сказал - эти тесты дерьмо и не отражают реального положения вещей. Такого нигде сказано не было и не будет.

А СМИ охотно результаты этих тестов републикуют, Маркс сотрудничает со всеми ведущими журналами и ни один из этих журналов как я понимаю не считает, что его результаты чего-то там дискридируют.

так что не надо мельтишить Сергей - Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

[alexgr 556]

а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено ИМХО, разумеется

[Сергей Ильин 1538]

а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Аналогично, я высказывался по этому поводу после прошлого теста. Данимика результатов настораживает.

Интересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

[Сергей Ильин 1538]

Такая же фигня и с VB100%

[Иван 290]

Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

а вендоры будут продолжать молчать полюбому

если вендор в тестах занимает хорошие позиции - ему нафиг не надо что-либо менять (болтовня в форумах не в счет, официально заявлять ничего не будут)

если вендор занимает херовую позицию то максимум чего можно ожидать это легкую критику теста - и это понятно, жесткую критику большинство воспримет так: "они этот тест просрали, вот теперь на него и наезжают"

Так что врядли стоит ожидать каких-либо изменений. А болтовня представителей вендоров в форумах, это ерунда. Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

[Andrey75 0]

У кого нибудь есть результаты VB100 за февраль? Интересно бы сравнить с тестом Маркса

[Александр Шабанов 120]

нтересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Прикинул кое-что

Сделал относительный анализ результатов за январь и март от Маркса:

1. Количество образцов в коллекции в январе - 1024381

2. Количество образцов в коллекции в марте - 1130556

3. Абсолютный прирост коллекции - 106175

Вычислил следующие показатели:

1. Абсолютный прирост кол-ва обнаруженных образцов по каждому вендору

Кол-во обнаруженных образцов в марте - Кол-во обнаруженных образцов в январе

1а. Отношение прироста кол-ва обнаруженных образцов к абсолютному приросту коллекции по каждому вендору

Абсолютный прирост кол-ва обнаруженных образцов/Абсолютный прирост коллекции

2. Максимально возможное кол-во образцов для обнаружения в марте по каждому вендору

Количество образцов в коллекции в марте - Количество обнаруженных образцов в январе

2а. Отношение максимально возможного количества образцов для обнаружения в марте к приросту количества обнаруженных образцов в марте.

Прирост обнаруженных образцов в марте по каждому вендору/Максимально возможное количество образцов для обнаружения на март

Построил диаграмму по показателям 1а и 2а:

Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора

Из лидеров выделяется Eset

[Сергей Ильин 1538]

Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора smile.gif

Из лидеров выделяется Eset smile.gif

Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января. Для этого вариант на самом деле два: 1. Слив Марксом своей коллекции этим вендорам. 2. Докрутка детекта под эту коллекцию своими силами.

Прогресс Доктора, ВБА и Исет поражает

С моей точки зрения подозрительно все, где параметр 1а больше единицы.

[Александр Шабанов 120]

Нашел источник на английском с комментариями Маркса

[sergey ulasen 200]

Прогресс действительно хороший

Но:

1. Маркс нам ничего не сливал

2. Ничего специально под данную коллекцию мы не подкручивали

[Valery Ledovskoy 1082]

Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Матом не крыл Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов)

[Сергей Ильин 1538]

1. Маркс нам ничего не сливал

А если попросить его, сольет интересно?

Если без коллекции такой прогресс, то если удастся найти подход к Марксу и получить хотя бы часть коллекции, то можно как минимум подняться как Trend Micro в последних тестах

[Иван 290]

Матом не крыл Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов)

Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова, я ни на минуту в этом не сомневался

[Valery Ledovskoy 1082]

Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова

Они просто о разном. Но не вижу ничего плохого и в том, если какой-то из тестов антивирусов для меня окажется более значимым, чем для Бориса Шарова. Тесты сотрудниками обсуждаются достаточно часто, и у разных сотрудников часто разное мнение. Это нормально.

[Иван 290]

ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено ИМХО, разумеется

я вашей уверенностью по поводу проплаченности не обладаю

но вот то, что по версии Маркса Доктор Веб и Касперский хуже в обнаружении активных руткитов, чем Панда и Тренд Майкро для меня несколько удивительно.

[Иван 290]

Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января.

если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

In case of the actual testing, we first checked the signature-based on-demand detection of all products against more than 1.1 million inactive samples we've found spreading or which were distributed during the last two months which means, we have not used any "historic" samples.

а значит если ему верить, то пофигу передает он коллекции вендорам или нет и быстро ли они разгребают эти коллекции или нет - ничего не поможет, самплы для каждого нового теста новые.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

[Сергей Ильин 1538]

если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

Не сходится! Миллион новых самплов за 3 месяца ... не слишком ли круто? Или же он просто не разгребал коллекцию толком и там куча одинаковых самплов, мусор и т.д.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Можно объяснить источниками коллекции, то какой смысл эти источники менять постоянно?

[Александр Шабанов 120]

Миллион новых самплов за 3 месяца

По словам Маркса за два месяца

During January and February 2008 alone we found more than 1.1 million samples spreading in the internet.