Тест AV-Test.org на обнаружение зловредов - ноябрь 2007

[Иван 290]

Новый ноябрьский тест AV-Test.org http://www.pcwelt.de/start/sicherheit/antivirus/news/129927/

Тест на коллекции 1,061,390 зловредов, проверка по требованию (on-demand), взяты новые версии продуктов (как Маркс пишет - Generation 2008).

Глядя на изменения произошедшие по сравнению с августовским тестом интересными видятся несколько вещей:

- за счет чего интерсно F-Secure обскакал Касперского

- какой-то резкий скачек вверх у Trend Micro

- Доктор Веб совсем как-то просел

- НОД32 в той же заднице, что и был

- Микрософт медленно, но верно поднимается вверх (хотя если смотреть на цифпы, то это скорее коллеги по цеху проседают)

[vovan7777 95]

Немцы рулят!

[Иван 290]

ну да, тока фолсят посвински

[vovan7777 95]

ну да, тока фолсят посвински

Не знаю-не замечал как то.

Лучше уж фолсы....,чем обрыв скорости в 1.5-2 раза в сети интернет с новым комбайном дяди Жени.....

[Valery Ledovskoy 1082]

Тест на коллекции 1,061,390 зловредов

Миллион зловредов. Вот мне интересно, каким образом было определено, что каждый из этого миллиона зловредов действительно способны на зловредные действия. Бедные немцы. Целая тысяча из них, наверное, сидела и отбирала "зёрна от плевел" в течение месяца на реальных системах (по 33 сэмпла в день каждый). А проверять надо, ибо вот что мы видим:

http://www.anti-malware.ru/phpbb/viewtopic.php?t=3801

Да и не только такое мы можем увидеть.

Ну, не верю я, что с таким количеством файлов можно провести тест на высоком качественном уровне.

[Александр Шабанов 120]

А общий уровнь упал

Стабильность - залог успеха , Symantec на два пункта поднялась за счет этого, результат приблизительно одинаковый.

[Werasy 0]

Известна проблематика в недобавлении сигнатур тех вредителей,которые невредители в любом смысле.Так называемые битые файлы,нерабочие.Проблема состоит для АВ-фирмы в том,что труднее недобавить сигнатуру такого файла,чем добавить,если другие уже решили его как вирус детектировать.Так как пользователи просто замучиют с "почему те...,а вы...?".Процент таких нерабочих файлов в больших коллекциях,не являющимися вирусами,но детектируемых как вирусы,неизвестен.Возьмём к этому простой пример:дана коллекция в 10 вирусов и в них 2 на самом деле не вирусы,а нерабочие.АВ-Х детектит 9 оттуда,АВ-У,известный недобавлением в базы битых файлов,показывает 8.Пользователь с обоими АВ от данных вирусов одинакого защищён?Было бы неверно,если либо первому на 10% (по данному случаю) занизить,либо второму повысить?

Тест по коллекциям хорош.Как иначе сравнишь,если не проверкой детекта как основная дисциплина?Но даже и в их точных результатах есть неточности.Эта цифра неизвестна.

--------------------------------------------------------------------------------------

А сколько зловредов бралось в августе?

[sl1 15]

- за счет чего интерсно F-Secure обскакал Касперского

Свежий пример: сегодня проактивкой поймал трояна rayio.exe_ - Trojan-Downloader.Win32.Agent.fjg

На вирустотале, на данный момент, только эти АВ детектят:

AVG 7.5.0.503 2007.11.24 Agent.IUX

CAT-QuickHeal 9.00 2007.11.24 Trojan.Horst.pp

DrWeb 4.44.0.09170 2007.11.24 BackDoor.Vomba

eSafe 7.0.15.0 2007.11.21 suspicious Trojan/Worm

F-Secure 6.70.13030.0 2007.11.24 W32/Agent.CRTK

Ikarus T3.1.1.12 2007.11.25 Trojan-Downloader.Win32.Agent.buo

Panda 9.0.0.4 2007.11.24 Adware/WinButler

Prevx1 V2 2007.11.25 Heuristic: Suspicious File With Outbound Communications

Rising 20.19.52.00 2007.11.25 Trojan.DL.Win32.Agent.dwc

[Иван 290]

ага, это вроде нормана вердикт, вот здесь он в частности фигурирует http://www.securitymob.com/my_smob/alert_i...asp?alert=70596

Добавлено спустя 3 минуты 35 секунд:

А сколько зловредов бралось в августе?

874.822

http://www.pcwelt.de/start/software_os/sic...eit/news/91438/

[vaber 350]

Предположу, что большая часть коллекции просто устаревшая. Нетрудно подсчитать, учитывая кол-во самплов в августу и ноябре, что если антивирус А имел результат в 80% в августе, и при 100% детекте всех новых самплов, в ноябре у него будет результат 83,5%. Спрашивается - что отражает данный тест, если предположительно в нем большая часть неактуальных на данный момент вирусов.

[Иван 290]

Предположу, что большая часть коллекции просто устаревшая. Нетрудно подсчитать, учитывая кол-во самплов в августу и ноябре, что если антивирус А имел результат в 80% в августе, и при 100% детекте всех новых самплов, в ноябре у него будет результат 83,5%. Спрашивается - что отражает данный тест, если предположительно в нем большая часть неактуальных на данный момент вирусов.

Из письма Маркса опубликованного здесь http://www.anti-malware.ru/phpbb/viewtopic.php?t=3394 и касаемого августовского теста

For this test, we only used current samples which were seen spreading

(or which were distributed by malware authors) within the last six

months. A total of 874.822 unique malware have been used for this

test, including worms, backdoors, bots (zombies) and Trojan Horses.

All samples were intensively tested (e.g. if they are really malware)

and replicated (e.g. to ensure that the samples are really running)

before putting them in our collection -- a process which took several

weeks completing.

так что если верить ему (а презумпцию невиновности никто не отменял), то коллекция не сказать что особо древняя, а образцы вирья проверяются на работоспособность

[vaber 350]

For this test, we only used current samples which were seen spreading

(or which were distributed by malware authors) within the last six

months. A total of 874.822 unique malware have been used for this

test, including worms, backdoors, bots (zombies) and Trojan Horses.

All samples were intensively tested (e.g. if they are really malware)

and replicated (e.g. to ensure that the samples are really running)

before putting them in our collection -- a process which took several

weeks completing.

так что если верить ему (а презумпцию невиновности никто не отменял), то коллекция не сказать что особо древняя, а образцы вирья проверяются на работоспособность

Хм..

А что значит эта фраза:

"and replicated (e.g. to ensure that the samples are really running)

before putting them in our collection"??

Если прикинуть, получается где-то 4860 сампла в сутки. ГЫ. Не верю я в это. Возможно, та фраза, что я выделил - имеется ввиду запускается например троян, и все файлы что он создает, идут в коллекцию. Таким образом цифра в пять тысяч может быть правдоподобной. Но это не отменяет математической выкладке. Если антивирь за последние три месяца идеально все детектил - его процент почти не изменится при такой методике проведения теста.

[Иван 290]

да, кстати, если все же верить Марксу, то размах его тестовой лабы меня впечатляет, вот он пишет про свой ноябрьский тест: For use were 30 identical PCs with processors of the type Core 2 Duo 6600, and two GB of RAM. Все же база в виде магдебургского универа видать клевая штука

а насчет коллекции ноябрьского теста пишет он: worms, bots, Trojan horses, all in the last few months have been in circulation.

[Сергей Ильин 1538]

Миллион зловредов. Вот мне интересно, каким образом было определено, что каждый из этого миллиона зловредов действительно способны на зловредные действия.

Никак, этого никто не проверяет в таких тестах. Сколько там мусора - одному богу известно.

Стабильность - залог успеха Smile , Symantec на два пункта поднялась за счет этого, результат приблизительно одинаковый.

Меня больше впечатлил взлет Trend Micro с 88 до 95%.

Microsoft, кстати, удерживает высокую планку - стабильно 96%. Автодятел рулит :wink:

Известна проблематика в недобавлении сигнатур тех вредителей,которые невредители в любом смысле.Так называемые битые файлы,нерабочие.

Я думаю, тут еще проблема в том, что называть неработающим вредоносом? Если сампл битый изначально, криво сгенерированный/ зараженный и т.д., то этот мусор проще отсеять. А если файл, например, запускается под Windows 2000, а не SP2 не идет, его признавать нерабочим или нет? Никто же не будет проверять большие коллекции на всех версиях ОС.

да, кстати, если все же верить Марксу, то размах его тестовой лабы меня впечатляет

Миллионая коллекция будет сканироваться некоторыми антивирусами не одни сутки даже не таких мощных машинах

Добавлено спустя 9 минут 27 секунд:

Вообще у меня создалось впечатление, что Маркс влил в свою августовскую коллекцию такие 200 тыс. самплов, которые реально изменили картину. По сути она увеличилась примерно на 20% по размеру, это неизвестные ему до этого образцы.

Судя по результатам я бы предположил, что Маркс получил доступ к коллекции Trend Micro :wink: Из которой какая-то значительная часть не знакома Доктор Веб, McAfee и VirusBuster, а небольшая - Касперскому, BitDefenfer, Eset и т.д (потеряли где-то около 1%).

[TANUKI 240]

А мне интересно, за счет чего ВэбВошер обскакал Авиру? Симантек молодцы - давно заметил, что медленно, но верно, возвращают утраченные позиции и доверие пользователей. Тест это подтверждает. Удивил Майкрософт, учитывая, что он стабильно пропускает на вирустотале. За счет чего такой подъем?

[SAlex 0]

Может "обскакал" за счет еще большего количества фолсов?

Хотя куда уж казалось бы...