AV-comparatives.org: Whole Product Dynamic Test (Ноябрь 2010)

[Danilka 678]

http://www.av-comparatives.org/comparative...s/dynamic-tests

[GReY 35]

Спасибо.

Ребята решили подвести под тесты научную базу - подсчитали доверительные интервалы

Тест будет вестись до конца года и программы будут постоянно обновляться.

Меня только смущают слишком высокие результаты; худший из худших и то словил 83% заразы... Неужто web protection настолько эффективен? Или это срабатывают технологии отслеживания происхождения файла?

[GReY 35]

Что-то никто не заметил публикацию сентябрьских результатов

http://www.av-comparatives.org/images/stor...dynamic2010.pdf

По сравнению с августом количество семплов выросло более, чем в два раза, сменилась версия F-Secure, PC Tools и Trend Micro.

На этот раз лучшим стал Avira, близки Norton и AVG, недалеки Kaspersky и F-Secure. BitDefender серьёзно улучшил результат, Trend Micro, PC Tools и Panda ухудшили.

[ak_ 395]

Что-то никто не заметил публикацию сентябрьских результатов

http://www.av-comparatives.org/images/stor...dynamic2010.pdf

Причина, возможно, в этом:

На этот раз лучшим стал Avira, близки Norton и AVG

Осталось дождаться объяснения, почему тест неправильный.

Offtop

Я решил немного помочь маркетологам ЛК и подготовил "правильную" диаграмму результатов. Хоть сейчас в пресс-релиз:

[Umnik 997]

Осталось дождаться объяснения, почему тест неправильный. smile.gif

А разве не стандартная проблема? Мусор + тулбары?

[GReY 35]

Опубликованы ноябрьские результаты: проверено 454 заразы.

ТрендМикро продолжает падать, Нортон - расти. Обновлённый AVG провалился.

Лучший результат месяца у Norton и F-Secure, близко за ними Kaspersky, G Data, Avast, Panda, Avira

[Сергей Ильин 1538]

Лучший результат месяца у Norton и F-Secure, близко за ними Kaspersky, G Data, Avast, Panda, Avira

Вот это как бы это сказать, выглядит очень пикантно

А теперь вопрос к залу, особенно к стану поклонников AMTSO и Whole Product Dynamic Tests, чего так результаты то плавают от месяца к месяцу?

[OlegAndr 236]

Потому что за это время вендоры меняют технологии, я так думаю. Ну и потом разные наборы малвары. Все таки плавает же. Но все равно это реалистичнее чем 10 тыщ мильенов или как щас говорят 100500 всякой хни.

[Сергей Ильин 1538]

Потому что за это время вендоры меняют технологии, я так думаю.

Ну а вот что конкретно поменялось за месяц в Symantec или Avira? Первый улучшил (compromised 0.4% против 0.7%), а второй слил ощутимо (compromised 3.3% против 0.3%).

В общем визуально так 2-3% минимум - это погрешность измерений получается. В итоге вывод: все продукты, у которых детект больше 95%-98% - одинаковы и нет никакого смысла рассуждать на тему того, кто в этом месяце круче.

Т.е. Kingsoft, Norman и Panda в топку, а остальные - Recomended

Клименти надо этой тройке приплачивать за участие, иначе тест просто потеряет смысл.

[OlegAndr 236]

Ну а вот что конкретно поменялось за месяц в Symantec или Avira?

Я думаю облака дышат.

Собственно и смысл облаков в том, что ты можешь менять логику и мощности не будучи связанным ограничениями клиента.

[GReY 35]

нет никакого смысла рассуждать на тему того, кто в этом месяце круче

угу, есть смысл рассуждать о тех, кто не проваливался ни в одном месяце, и об итоговом среднем проценте на как можно большем количестве семплов

[Сергей Ильин 1538]

угу, есть смысл рассуждать о тех, кто не проваливался ни в одном месяце, и об итоговом среднем проценте на как можно большем количестве семплов

Да, пожалуй, что именно так и правильно говорить о результатах этого теста. Забавно, что в лимите мы все равно будем иметь измерялку крутизны антивирусов виде все того же количества значков/сертификатов. Такая реинкарнация VB100%, только в новой шкуре

Одни вендоры будут говорить: "У нас их 50 шт". Другие: "Мы ни разу не опускались ниже 90%". Ну и т.д.