Александр Шабанов

Результаты теста AV-Test.org - Март 2008

В этой теме 26 сообщений

Предлагаю вниманию новый тест (март 2008) от Андреаса Маркса , в тесте был следующие метрики:

- Обнаружение по требованию ( 1,130,556 образцов);

- Обнаружение по требованию Ad-/Spyware (83.054 образцов);

- Ложные срабатывания (коллекция из 100,000 файлов);

- Скорость сканирования;

- Эвристическое обнаружение;

- Скорость реакции вирусных лабораторий (55 образцов в 2007 и 3 в 2008)

- Обнаружение руткитов (12 активных образцов)

- Лечение активного заражения (20 активных образцов)

Представлю результаты теста на общее обнаружение:

AVK (G Data) 99.91%

WebWasher-GW 99.85%

TrustPort 99.63%

AntiVir (Avira) 99.32%

Avast! 98.81%

Trend Micro 98.72%

Sophos 98.10%

Ikarus 97.98%

Nod32 (Eset) 97.85%

Microsoft 97.79%

BitDefender 97.77%

Kaspersky 97.17%

F-Secure 96.78%

F-Prot (Frisk) 96.72%

eScan 96.70%

ZoneAlarm 96.36%

AVG 96.27%

Norton 95.70%

Panda 95.62%

McAfee 95.58%

Rising 94.11%

Norman 92.79%

Fortinet-GW 92.38%

Dr Web 90.43%

VBA32 89.93%

QuickHeal (CAT) 85.65%

ClamAV 84.76%

VirusBuster 76.20%

eTrust / VET (CA) 72.07%

K7 Computing 65.50%

Результаты по остальным показателям можно посмотреть здесь (на немецком):

http://blog.chip.de/0-security-blog/maerz-...leich-20080310/

Прошу обратить внимание на следующие моменты:

- результат Microsoft

- появился сет на лечение, в котором показали лучшие результаты CA, McAfee, Symantec и Microsoft! :)

Естественно набор образцов и методология не раскрывается :)

В качестве бонуса прилагаю сравнение результатов тестов Av-comparatives.org и Av-test.com, опять же привлекла внимание разница в результатах Microsoft:

comparetests.JPG

post-3840-1205314809_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

:lol::lol::lol: Щас умру с активных руткитов. Побольше бы таких тестов.

"

...

далее идет поток галимой чепухи,

люблю, когда люди сразу говорят: "Мы лохи!" (с) группа Кирпичи

"

Мое мнение относительно профессионализма таких тестов и самих тестеров еще больше ухудшается. Не умеете - не беритесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Гы, у Маркса Microsoft по детекту кроче Касперского. А кто-то я помню говорил, что они ничего не ловят ;)

С лечением активного заражения и руткитами просто жесть, тут даже комментировать нечего.

eTrust / VET (CA) ++

McAfee ++

Microsoft ++

Norton (Symantec) ++

AntiVir (Avira) +

Dr Web +

F-Secure +

Kaspersky +

Nod32 (Eset) +

Rising +

Sophos +

Trend Micro +

VBA32 +

VirusBuster +

CA, McAfee и Microsoft лучше устраняют активное заражение :lol:

Побольше бы таких тестов.

Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Напрягает сама интерпретация результатов - плюсики, кружочки, надо еще треугольнички и звездочки добавить, будет как в начальной школе :)

А по результатам можно сказать, что попытка не засчитана :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей :D

а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

меня вот поражает неустойчивость результатов AV-Test.org, с прошлого теста прошло всего 2 месяца, а

нод32 был 20м стал 9м

симантек был шестым, стал аж восемнадцатым

AVG был седьмым, стал семнадцатым

а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

нет такой проблемы

все эти наши комменты в форумах что-то значат только для очень узкой группы людей

а на деле ни один из антивирусных вендоров официально в СМИ не заявил о своём неприятии тестов Маркса, нигде не сказал - эти тесты дерьмо и не отражают реального положения вещей. Такого нигде сказано не было и не будет.

А СМИ охотно результаты этих тестов републикуют, Маркс сотрудничает со всеми ведущими журналами и ни один из этих журналов как я понимаю не считает, что его результаты чего-то там дискридируют.

так что не надо мельтишить Сергей - Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено :P ИМХО, разумеется

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Аналогично, я высказывался по этому поводу после прошлого теста. Данимика результатов настораживает.

Интересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Такая же фигня и с VB100%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

а вендоры будут продолжать молчать полюбому

если вендор в тестах занимает хорошие позиции - ему нафиг не надо что-либо менять (болтовня в форумах не в счет, официально заявлять ничего не будут)

если вендор занимает херовую позицию то максимум чего можно ожидать это легкую критику теста - и это понятно, жесткую критику большинство воспримет так: "они этот тест просрали, вот теперь на него и наезжают"

Так что врядли стоит ожидать каких-либо изменений. А болтовня представителей вендоров в форумах, это ерунда. Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У кого нибудь есть результаты VB100 за февраль? Интересно бы сравнить с тестом Маркса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
нтересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Прикинул кое-что :)

Сделал относительный анализ результатов за январь и март от Маркса:

1. Количество образцов в коллекции в январе - 1024381

2. Количество образцов в коллекции в марте - 1130556

3. Абсолютный прирост коллекции - 106175

Вычислил следующие показатели:

1. Абсолютный прирост кол-ва обнаруженных образцов по каждому вендору

Кол-во обнаруженных образцов в марте - Кол-во обнаруженных образцов в январе

1а. Отношение прироста кол-ва обнаруженных образцов к абсолютному приросту коллекции по каждому вендору

Абсолютный прирост кол-ва обнаруженных образцов/Абсолютный прирост коллекции

2. Максимально возможное кол-во образцов для обнаружения в марте по каждому вендору

Количество образцов в коллекции в марте - Количество обнаруженных образцов в январе

2а. Отношение максимально возможного количества образцов для обнаружения в марте к приросту количества обнаруженных образцов в марте.

Прирост обнаруженных образцов в марте по каждому вендору/Максимально возможное количество образцов для обнаружения на март

Построил диаграмму по показателям 1а и 2а:

avtest.JPG

Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора :)

Из лидеров выделяется Eset :)

post-3840-1205330499_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора smile.gif

Из лидеров выделяется Eset smile.gif

Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января. Для этого вариант на самом деле два: 1. Слив Марксом своей коллекции этим вендорам. 2. Докрутка детекта под эту коллекцию своими силами.

Прогресс Доктора, ВБА и Исет поражает :)

С моей точки зрения подозрительно все, где параметр 1а больше единицы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Прогресс действительно хороший :)

Но:

1. Маркс нам ничего не сливал

2. Ничего специально под данную коллекцию мы не подкручивали

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Матом не крыл :) Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1. Маркс нам ничего не сливал

А если попросить его, сольет интересно? :)

Если без коллекции такой прогресс, то если удастся найти подход к Марксу и получить хотя бы часть коллекции, то можно как минимум подняться как Trend Micro в последних тестах ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Матом не крыл :) Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов) :)

Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова, я ни на минуту в этом не сомневался :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова

Они просто о разном. Но не вижу ничего плохого и в том, если какой-то из тестов антивирусов для меня окажется более значимым, чем для Бориса Шарова. Тесты сотрудниками обсуждаются достаточно часто, и у разных сотрудников часто разное мнение. Это нормально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено :P ИМХО, разумеется

я вашей уверенностью по поводу проплаченности не обладаю

но вот то, что по версии Маркса Доктор Веб и Касперский хуже в обнаружении активных руткитов, чем Панда и Тренд Майкро для меня несколько удивительно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января.

если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

In case of the actual testing, we first checked the signature-based on-demand detection of all products against more than 1.1 million inactive samples we've found spreading or which were distributed during the last two months which means, we have not used any "historic" samples.

а значит если ему верить, то пофигу передает он коллекции вендорам или нет и быстро ли они разгребают эти коллекции или нет - ничего не поможет, самплы для каждого нового теста новые.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

Не сходится! Миллион новых самплов за 3 месяца ... не слишком ли круто? Или же он просто не разгребал коллекцию толком и там куча одинаковых самплов, мусор и т.д.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Можно объяснить источниками коллекции, то какой смысл эти источники менять постоянно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Миллион новых самплов за 3 месяца

По словам Маркса за два месяца :)

During January and February 2008 alone we found more than 1.1 million samples spreading in the internet.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • fafa
      А что это совсем за аппарат массунг? Как мне кажется, то любые аппараты совсем являются ремонтируемыми. А все зависит только от того в какую фирму понесете. Так, что все реально сделать в наше время, были бы деньги только.
    • fafa
      Если есть совсем мало места, то почему же не ставить. Если посмотреть, то ни какой вариант с ванной ни как не спасает нас, так как места займет она точно больше, в наше время это решает. Для моей квартиры в 60 квадратов так тем более.
    • Wenderoy
      Скачать Kuranin Anti-Ransomware можно здесь: http://kuranin.ml/ Уникальный файлообменный сервис от Куранина Ильи для безопасного хранения файлов с возможностью шифрования методом AES-256 - https://kur.guru/ Все загружаемые данные хранятся на надежно защищенных нидерландских серверах и хранятся вечно!
    • P1rat
    • klubochek
      Подскажите подлежат ли ремонту смартфоны масунг? В пятницу забрала дочку со школы всю в слезах. В школе не стала уточнять что к чему, на простой вопрос что случилось – только слезы. Дома показывает мне свой телефон – экран разбит. Телефон не включается. Что произошло толком не рассказывает. Но это уже буду говорить с учителем. Самое обидное что это был ее долгожданный подарок. Подарили только на 8 марта. Если ремонт возможен , какая может быть его стоимость?