Перейти к содержанию
Александр Шабанов

Результаты теста AV-Test.org - Март 2008

Recommended Posts

Александр Шабанов

Предлагаю вниманию новый тест (март 2008) от Андреаса Маркса , в тесте был следующие метрики:

- Обнаружение по требованию ( 1,130,556 образцов);

- Обнаружение по требованию Ad-/Spyware (83.054 образцов);

- Ложные срабатывания (коллекция из 100,000 файлов);

- Скорость сканирования;

- Эвристическое обнаружение;

- Скорость реакции вирусных лабораторий (55 образцов в 2007 и 3 в 2008)

- Обнаружение руткитов (12 активных образцов)

- Лечение активного заражения (20 активных образцов)

Представлю результаты теста на общее обнаружение:

AVK (G Data) 99.91%

WebWasher-GW 99.85%

TrustPort 99.63%

AntiVir (Avira) 99.32%

Avast! 98.81%

Trend Micro 98.72%

Sophos 98.10%

Ikarus 97.98%

Nod32 (Eset) 97.85%

Microsoft 97.79%

BitDefender 97.77%

Kaspersky 97.17%

F-Secure 96.78%

F-Prot (Frisk) 96.72%

eScan 96.70%

ZoneAlarm 96.36%

AVG 96.27%

Norton 95.70%

Panda 95.62%

McAfee 95.58%

Rising 94.11%

Norman 92.79%

Fortinet-GW 92.38%

Dr Web 90.43%

VBA32 89.93%

QuickHeal (CAT) 85.65%

ClamAV 84.76%

VirusBuster 76.20%

eTrust / VET (CA) 72.07%

K7 Computing 65.50%

Результаты по остальным показателям можно посмотреть здесь (на немецком):

http://blog.chip.de/0-security-blog/maerz-...leich-20080310/

Прошу обратить внимание на следующие моменты:

- результат Microsoft

- появился сет на лечение, в котором показали лучшие результаты CA, McAfee, Symantec и Microsoft! :)

Естественно набор образцов и методология не раскрывается :)

В качестве бонуса прилагаю сравнение результатов тестов Av-comparatives.org и Av-test.com, опять же привлекла внимание разница в результатах Microsoft:

comparetests.JPG

post-3840-1205314809_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent

Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Один false positive у Авиры? F-Secure, Norton, Panda и Trend Micro - лидеры по обнаружению активных рутктитов? =-о

Не верю! (С)

:lol::lol::lol: Щас умру с активных руткитов. Побольше бы таких тестов.

"

...

далее идет поток галимой чепухи,

люблю, когда люди сразу говорят: "Мы лохи!" (с) группа Кирпичи

"

Мое мнение относительно профессионализма таких тестов и самих тестеров еще больше ухудшается. Не умеете - не беритесь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Гы, у Маркса Microsoft по детекту кроче Касперского. А кто-то я помню говорил, что они ничего не ловят ;)

С лечением активного заражения и руткитами просто жесть, тут даже комментировать нечего.

eTrust / VET (CA) ++

McAfee ++

Microsoft ++

Norton (Symantec) ++

AntiVir (Avira) +

Dr Web +

F-Secure +

Kaspersky +

Nod32 (Eset) +

Rising +

Sophos +

Trend Micro +

VBA32 +

VirusBuster +

CA, McAfee и Microsoft лучше устраняют активное заражение :lol:

Побольше бы таких тестов.

Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Напрягает сама интерпретация результатов - плюсики, кружочки, надо еще треугольнички и звездочки добавить, будет как в начальной школе :)

А по результатам можно сказать, что попытка не засчитана :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Коллекция как всегда закрыта. Закроем глазаи .... представим, что ее происхождение скрыто где - то в недрах Симантека. Как вариант пояснения таких показателей :D

а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

меня вот поражает неустойчивость результатов AV-Test.org, с прошлого теста прошло всего 2 месяца, а

нод32 был 20м стал 9м

симантек был шестым, стал аж восемнадцатым

AVG был седьмым, стал семнадцатым

а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Проблема в том, что этот "гуру тестирования" может дискредитировать такой вот работой все остальные тесты.

нет такой проблемы

все эти наши комменты в форумах что-то значат только для очень узкой группы людей

а на деле ни один из антивирусных вендоров официально в СМИ не заявил о своём неприятии тестов Маркса, нигде не сказал - эти тесты дерьмо и не отражают реального положения вещей. Такого нигде сказано не было и не будет.

А СМИ охотно результаты этих тестов републикуют, Маркс сотрудничает со всеми ведущими журналами и ни один из этих журналов как я понимаю не считает, что его результаты чего-то там дискридируют.

так что не надо мельтишить Сергей - Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
а вот это сомнительно, результаты симантека не говорят о том, что это их коллекция.

ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено :P ИМХО, разумеется

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
а между позапрошлым и прошлым тестом мы наблюдали гигантский скачек Тренда.

честно говоря такие скачки в такой короткий промежуток времени у меня лично вызывают задумчиваость на тему источников коллекций.

Аналогично, я высказывался по этому поводу после прошлого теста. Данимика результатов настораживает.

Интересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Маркс пока вполне себе рулит общественным мнением и никто из вендоров активно-публично-официально против не высказывается.

Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Такая же фигня и с VB100%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Ага, а что это значит? Можно гнать такую лажу и далее: пипл хавает, вендоры молчат.

а вендоры будут продолжать молчать полюбому

если вендор в тестах занимает хорошие позиции - ему нафиг не надо что-либо менять (болтовня в форумах не в счет, официально заявлять ничего не будут)

если вендор занимает херовую позицию то максимум чего можно ожидать это легкую критику теста - и это понятно, жесткую критику большинство воспримет так: "они этот тест просрали, вот теперь на него и наезжают"

Так что врядли стоит ожидать каких-либо изменений. А болтовня представителей вендоров в форумах, это ерунда. Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

У кого нибудь есть результаты VB100 за февраль? Интересно бы сравнить с тестом Маркса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
нтересно было бы на графике прикинуть динамику результатов, только не в пройентах по оси Y, а в обнаруженных самплах. Уверен, откроются забавные вещи. Никто не хочет прикинуть?

Прикинул кое-что :)

Сделал относительный анализ результатов за январь и март от Маркса:

1. Количество образцов в коллекции в январе - 1024381

2. Количество образцов в коллекции в марте - 1130556

3. Абсолютный прирост коллекции - 106175

Вычислил следующие показатели:

1. Абсолютный прирост кол-ва обнаруженных образцов по каждому вендору

Кол-во обнаруженных образцов в марте - Кол-во обнаруженных образцов в январе

1а. Отношение прироста кол-ва обнаруженных образцов к абсолютному приросту коллекции по каждому вендору

Абсолютный прирост кол-ва обнаруженных образцов/Абсолютный прирост коллекции

2. Максимально возможное кол-во образцов для обнаружения в марте по каждому вендору

Количество образцов в коллекции в марте - Количество обнаруженных образцов в январе

2а. Отношение максимально возможного количества образцов для обнаружения в марте к приросту количества обнаруженных образцов в марте.

Прирост обнаруженных образцов в марте по каждому вендору/Максимально возможное количество образцов для обнаружения на март

Построил диаграмму по показателям 1а и 2а:

avtest.JPG

Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора :)

Из лидеров выделяется Eset :)

post-3840-1205330499_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Соответственно чем больше первый показатель и меньше второй, тем больше вероятность вливания коллекции именно этого вендора smile.gif

Из лидеров выделяется Eset smile.gif

Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января. Для этого вариант на самом деле два: 1. Слив Марксом своей коллекции этим вендорам. 2. Докрутка детекта под эту коллекцию своими силами.

Прогресс Доктора, ВБА и Исет поражает :)

С моей точки зрения подозрительно все, где параметр 1а больше единицы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Нашел источник на английском с комментариями Маркса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen

Прогресс действительно хороший :)

Но:

1. Маркс нам ничего не сливал

2. Ничего специально под данную коллекцию мы не подкручивали

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Вон Ледовской кроет VB100% матом на форуме, а Борис Шаров на евентах говорит, что это уважаемый и авторитетный тест и его коллекция в отличии от других тщательно отобрана и проверена.

Матом не крыл :) Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
1. Маркс нам ничего не сливал

А если попросить его, сольет интересно? :)

Если без коллекции такой прогресс, то если удастся найти подход к Марксу и получить хотя бы часть коллекции, то можно как минимум подняться как Trend Micro в последних тестах ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Матом не крыл :) Говорил о том, что в последнее время сильно испортился. Ничего не отражает.

При этом никак не противоречит тому, что тест до сих пор уважаем и авторитетен, и что его коллекция тщательно отобрана и проверена (но при этом, опять же, может ничего не отражать в интегральном плане по качествам антивирусов) :)

Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова, я ни на минуту в этом не сомневался :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий ну конечно же ваше мнение по поводу VB100% никак не противоречит мнению господина Шарова

Они просто о разном. Но не вижу ничего плохого и в том, если какой-то из тестов антивирусов для меня окажется более значимым, чем для Бориса Шарова. Тесты сотрудниками обсуждаются достаточно часто, и у разных сотрудников часто разное мнение. Это нормально.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
ну, скажем, в недрах Тренда - сути это ведь не меняет... Это я к слову сказал - просто результаты в корне отличны от предыдущих. Значит, коллекция новая, лучшая, еще более правильная и - видимо - платная, в смысле - за результат проплачено :P ИМХО, разумеется

я вашей уверенностью по поводу проплаченности не обладаю

но вот то, что по версии Маркса Доктор Веб и Касперский хуже в обнаружении активных руткитов, чем Панда и Тренд Майкро для меня несколько удивительно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я бы сделал другой вывод: чем больше разница между двумя столбцами, тем больше вендор докручивал детект под эту коллекцию по итогам января.

если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

In case of the actual testing, we first checked the signature-based on-demand detection of all products against more than 1.1 million inactive samples we've found spreading or which were distributed during the last two months which means, we have not used any "historic" samples.

а значит если ему верить, то пофигу передает он коллекции вендорам или нет и быстро ли они разгребают эти коллекции или нет - ничего не поможет, самплы для каждого нового теста новые.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
если верить Марксу, то коллекция прошлого теста вообще не причем, он для нового теста брал только новые самплы

Не сходится! Миллион новых самплов за 3 месяца ... не слишком ли круто? Или же он просто не разгребал коллекцию толком и там куча одинаковых самплов, мусор и т.д.

Так что единственное чем я могу объъяснить такие резкие взлеты и падения некоторых продуктов - источники коллекций.

Можно объяснить источниками коллекции, то какой смысл эти источники менять постоянно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Миллион новых самплов за 3 месяца

По словам Маркса за два месяца :)

During January and February 2008 alone we found more than 1.1 million samples spreading in the internet.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
    • Dmitrius
      Канализация из септиков под ключ На предприятии каждый сможет заказать установку септиков, созданных из ЖБ конец - они не только практичны, но и отличаются безукоризненным качеством. Ищите где заказать монтаж септика астра - получите всю необходимую информацию на сайте. Важным моментом является то, что услуги оказываются на должном, профессиональном уровне. Это достигается за счет того, что в бригаде трудятся специалисты, которые знают все особенности своей работы. При этом стоимость работ остается на доступном уровне. Огромный стаж работы позволил приобрести большое количество клиентов – они советуют предприятие знакомым. Бетонные септики пользуются популярностью не только за счет своей небольшой стоимости, но и благодаря прочности, а также невосприимчивы к негативным условиях среды, они не нуждаются в сервисном обслуживании. И самое важное, что установка проводится на грунте любого типа. Такой вид септика считается самым быстрым способом организовать очистное сооружение на дачном участке. Сотрудники предприятия специально для вас подготовят предложение, произведут расчеты, грамотно расположат септик, а заодно и закупят все необходимые материалы по доступным ценам, выполнят доставку и монтажные работы. На все, включая материалы, предоставляются гарантии. Услуги оказываются не только по столице, но и области, на любом грунте: песке, глине и др. Монтаж септиков различной сложности, а также с подключением бани или дачи, переливом, любых соединений. Есть возможность вызвать целую бригаду специалистов на малый участок либо дачу, на которой вы проживаете время от времени или постоянно. Монтажные работы в ограниченные сроки. Во время монтажных работ учитывается то, сколько человек проживает в доме, особенности – о них поведает консультант. Теперь и вы сможете заказать высококлассные работы.
×