Тест антивирусов на качество детектирования (AV-Test.org)

[_Stout 131]

http://blog.chip.de/0-security-blog/micros...canner-20070821

Top 20:

1. AVK 2007 99.88% (KAV+ Avast)

2. WebWasher 99.86%

3. BitDefender 99.51%

4. Antivir 99.29%

5. Kaspersky 98.86%

6. F-Secure 97.93%

7. Avast! 96.99%

8. AVG 96.81% (+ Evido engine)

9. Symantec 96.75%

10. Microsoft 96.42%

11. Ikarus 95.92%

12. Sophos 94.63%

13. Nod32 94.26%

14. Fortinet 94.20%

15. McAfee 93.71%

16. Dr Web 92.48%

17. Rising 90.43%

18. Panda 90.15%

19. Trend Micro 88.85%

20. VBA32 88.59%

[Иван 290]

офигеть, симантек-то как провалился, вот бит поднялся...в предыдущем тесте было так:

Program # Detected Detection %

1. WebWasher 99.83%

2. AVK 2007 99.56%

3. AntiVir 99.42%

4. F-Secure 97.93%

5. Symantec 97.77%

6. Kaspersky 97.64%

7. Fortinet 97.06%

8. Avast! 96.32%

9.AVG 96.15%

10.Rising 96.02%

11. BitDefender 95.68%

12.Norman 94.66%

13.Ikarus 92.54%

14.Panda 92.09%

15.Trend Micro 90.97%

16.Nod32 88.32%

17.McAfee 87.28%

18.Dr Web 85.84%

19.F-Prot 85.27%

20.VBA32 82.10%

21.Sophos 81.75%

22.eSafe 81.57%

23.Microsoft80.56%

24.Ewido 75.24%

25.VirusBuster 72.72%

26.Command 68.22%

27.ClamAV 63.81%

28.QuickHeal 63.03%

29.eTrust-VET 62.12%

[_Stout 131]

офигеть, симантек-то как провалился, вот бит поднялся...в предыдущем тесте было так:

Program # Detected Detection %

WebWasher 99.83%

AVK 2007 99.56%

AntiVir 99.42%

F-Secure 97.93%

Symantec 97.77%

Kaspersky 97.64%

Fortinet 97.06%

Avast! 96.32%

AVG 96.15%

Rising 96.02%

BitDefender 95.68%

Norman 94.66%

Ikarus 92.54%

Panda 92.09%

Trend Micro 90.97%

Nod32 88.32%

McAfee 87.28%

Dr Web 85.84%

F-Prot 85.27%

VBA32 82.10%

Sophos 81.75%

eSafe 81.57%

Microsoft80.56%

Ewido 75.24%

VirusBuster 72.72%

Command 68.22%

ClamAV 63.81%

QuickHeal 63.03%

eTrust-VET 62.12%

NOD хорошо прибавил, DrWeb тоже.

[Сергей Ильин 1537]

Зато поднялся Microsoft, хорошо поработали, инвестиции пошли в правильное место и хороших людей купили.

[Ego1st 95]

Где можно AVK 2007 и WebWasher посмотреть, кто их делает..

[Иван 290]

NOD хорошо прибавил, DrWeb тоже

насчет хорошо прибавил мне кажется стоит больше даже внимание обращать не на %, а на места

Доктор был 18м - стал 16м

Нод32 был 16м - стал 13м

касперский с 6го на пятое перехал

а вот панда была 14я - стала 18я

тренд свалился с 15го на 19е

симантек с 5го на девятое

но настоящие прыгуны это битдефендер: c 11го на третье и микрософт с 23го на 10е

[A. 875]

I think it's very important to note that Amarx used malware that appeared during the past 6 month only. Due to that, the results have a tendency to show the products which are now going up very fast in terms of detection rate. Between them, BitDefender, AVIRA and Microsoft.

[A. 875]

разъяснения:

Hello,

please find attached the results of our latest test of 29 anti-virus

and anti-malware products, performed on Windows XP (English, SP2)

using the on-demand scanner utility. All products were last updated

at 2007-08-10 (8:00 h GMT). The scan required about a week completing

on 28 identical Core 2 Duo 6600 PCs with 2 GB RAM. We only used

regular products and updates (no special or beta versions) of all

scanners, in their most current edition for home users or small

companies (the ones which are usually labelled "2007", as the "2008"

series of products are not yet released).

For this test, we only used current samples which were seen spreading

(or which were distributed by malware authors) within the last six

months. A total of 874.822 unique malware have been used for this

test, including worms, backdoors, bots (zombies) and Trojan Horses.

All samples were intensively tested (e.g. if they are really malware)

and replicated (e.g. to ensure that the samples are really running)

before putting them in our collection -- a process which took several

weeks completing.

Besides looking at the detection rates of this large collection, we

also checked for the size of the AV signature databases (DB) on disk.

Of course, one cannot easily compare the detection scores and the DB

size, as some products includes a large set of disinfection routines

(which were not reviewed) and some vendor's DBs are compressed while

others are not. All tested products are using incremental update

mechanisms, so the "big" DB will only be transferred to the PC once.

Later, only the differences of this version and the newest pattern

file from the AV company will be send over the internet, usually not

more than 20 to 50 KB per day, depending on the program.

Products which haves small DBs might have better heuristics or

generic detection routines when compared with products using large

databases which might often -- but not always -- points to the

extensive use of CRC checksums which usually can only detect one

malware file per signature. Heuristic and generic detection routines

are often able to detect thousands of malware files by the use of

just one pattern (detection string) or algorithmic rule. Even if you

can't really compare the DB size differences of the products (it

would be like comparing apples and eggs), it is interesting that some

products require less than 10 MB to detect a high amount of files

while other products require a lot more space on disk, but still

detects less malware.

Of course, this is a "snapshot" test only and as AV updates are

usually released every few hours, the results might change

dramatically over time. It's important to keep in mind that AV

products shouldn't be seen as a replacement for a proper patching of

Windows and other software, or "safer surfing" practices -- all

individual components are important. Good scanners might get better

in the next test, the results might stay at the current level or they

might get worse, what wouldn't be a good sign. So it's essential to

not only check the results of this test, but it's a good idea to

monitor the results of "your" product over time, based on different

tests, to see how the product develops.

((You might want to point your readers to our last published test

here, when available.))

The first two products in this round of testing (AVK 2007 and

WebWasher) uses two scan engines, what is good for detection scores,

but which might also have some impact on scanning times and false

positives. Positions 3 (BitDefender) and 4 (AntiVir) are occupied by

single-engine products. The products representing position 10

(Microsoft's OneCare and Forefront Client Security) were quite a

surprise to us, as their detection scores have developed

significantly in the good direction over time. (When compared with

our last test, they are more than 10% up.) It looks like that the

high amount of malware researchers Microsoft has hired from other AV

companies (including many people from Symantec, McAfee, Trend Micro,

F-Secure and CA) has paid off.

When one looks at both the DB sizes and the detection rates, the

products on position 13 (Nod32) and 16 (Dr Web) appears to have the

best trade-off between detection scores and signature sets: with less

than 10 MB of signatures and scan engine routines they are already

able to detect more viruses than the average scanner we tested (which

is at a 90% level).

Trend Micro and Symantec, on the other hand, have one of the largest

DBs what doesn't point to "inefficient scanners", but to the fact

that their DBs are not compressed -- and indeed, one could easily ZIP

the DBs to about half of their current size. Another factor for the

large DBs are a high amount of specific disinfection routines which

are included, so that found malware can be removed properly (a fact,

what was not tested here, but in some of our past reviews).

Note: The publication of the results is free of charge, as long as we

are associated with the test results and proper references, including

a link to AV-Test.org's webpage <http://www.av-test.org/>, are given.

It would be nice if you could point your readers to our "Papers"

section where more details about our testing procedures and some

general information can be found. The links is

<http://www.av-test.org/index.php?sub=Papers&menue=1〈=0> for the

English version of the web page. Thank you!

cheers,

Andreas

[Guest recover]

http://blog.chip.de/0-security-blog/micros...canner-20070821

Любые подобные тестирования, к сожалению, не отражают реальных защитных свойств антивирусов. По следующим причинам:

1. Коллекции, на которых производится тестирования не могут быть адекватны реальным информационным угрозам для конкретных условий эксплуатации в различных точках информационного пространства. Распределение информационных угроз по различным точкам мирового пространства существенно разное, особенно в наших условиях.

2. Тестируемые продукты изначально поставлены в не равные условия. Те вендеры, которые имеют более тесное взаимодействие с держателями коллекций, имеют возможность подстроить свои продукты заранее.

3. На современном этапе превалируют вирусы однодневки, которые представляют реальную угрозу в самом начале, а потом их активность сходит на нет. Поэтому для пользователя важно, чтобы антивирус умел опознавать раньше, чем к нему попал вирус. Что толку, если антивирус уже на следующий день будет опознавать вирус, который уже успел навредить. Попытка ответить на этот вопрос представлена здесь.

4. Во многие коллекции включены зараженные объекты, которые не работоспособны. Пример здесь.

Я извиняюсь, пришли клиенты, если кому будет интересен бой "бред", как наверняка классифицируют недовольные представленных ссылок, я c удовольствием продолжу.

Пишите и отвечаете, бейте виртуальными ногами и т.д.

[Dmitry Perets 30]

http://blog.chip.de/0-security-blog/micros...canner-20070821

Любые подобные тестирования, к сожалению, не отражают реальных защитных свойств антивирусов.

Имхо слишком категоричный вывод, который не совсем следует из ваших дальнейших суждений. По крайней мере, пункты 2 и 4 описывают недостатки конкретных тестов (которые безусловно имеют место быть), но совсем не исключают возможности существования тестов, лишённых этих недостатков =)

Что касается пунктов 1 и 3:

1. Коллекции, на которых производится тестирования не могут быть адекватны реальным информационным угрозам для конкретных условий эксплуатации в различных точках информационного пространства. Распределение информационных угроз по различным точкам мирового пространства существенно разное, особенно в наших условиях.

Я думаю, что если коллекция выловлена составителем теста в "живой природе", то такая коллекция достаточно хорошо оценивает реальную угрозу. При одном важном условии: коллекция должна насчитывать очень большое количество сэмплов (минимум десятки тысяч, лучше сотни тысяч). Что касается географического положения, то с развитием быстрого инета это всё менее актуально. Хотя некоторых чисто российских зловредов, пожалуй, можно схватить только в рунете. Но и это не всегда. Допустим, пинч вовсю гуляет где угодно...

3. На современном этапе превалируют вирусы однодневки, которые представляют реальную угрозу в самом начале, а потом их активность сходит на нет. Поэтому для пользователя важно, чтобы антивирус умел опознавать раньше, чем к нему попал вирус. Что толку, если антивирус уже на следующий день будет опознавать вирус, который уже успел навредить. Попытка ответить на этот вопрос представлена здесь.

Да, вот с этим согласен, скорость реакции - это очень критичный параметр. Без него тестирование не полное. Однако провести тестирование скорости реакции с участием сотни тысяч сэмплом имхо нереально. Отсюда остаётся необходимость в таких вот тестах на детект. К тому же, для многих зловредов даже если антивирус опознает его на следующий день, этого будет достаточно. Возьмите, к примеру, различных ботов (для спама, для ддоса - не важно).

Я извиняюсь, пришли клиенты, если кому будет интересен бой "бред", как наверняка классифицируют недовольные представленных ссылок, я c удовольствием продолжу.

Пишите и отвечаете, бейте виртуальными ногами и т.д.

Добро пожаловать! =)

[TANUKI 240]

1. AVK 2007 99.88% (KAV+ Avast)

2. WebWasher 99.86%

Получается AVK в очередной раз сменила пару для движка Касперского на Аваст или я ошибаюсь?

Любопытно... Мне такой тандем по душе, хотя предпочел бы связку Касперский+БитДефендер (за третье место которого я рад).

И второй вопрос: ху из мистер WebWasher?

[pROCKrammer 50]

Если не ошибаюсь WebWasher использует Движок Авиры?

[SuperBrat 6]

Если не ошибаюсь WebWasher использует Движок Авиры?

Не ошибаетесь.

[TANUKI 240]

pROCKrammer

Честно говоря, не понимаю, на кой черт покупать этот ВэбВошер, когда можно купить саму Авиру? Другое дело, когда компания встраивает в продукт два движка - это любопытно, но платить за переименованный антивирус не вижу смысла

[SuperBrat 6]

Вы сделали неправильный вывод, WebWasher - многодвижковый антивирус.

[DWState 30]

SuperBrat

И чьи там движки кроме Авиры? если есть сведения

[SuperBrat 6]

Производитель сообщает, что использует три антивирусных движка. Знаю, что из известных там только AVIRA.