Результаты VB100% - Август 2008

[Иван 290]

ну чтож это свершилось, здравый смысл продолжает побеждать - доктор веб не участвовал в тесте VB100% на Windows XP SP3

тренд майкро также исполнила свои обещания и не участвовала в тесте

[Valery Ledovskoy 1082]

Иван, а кто получил/не получил значки?

Насколько я вижу, 100% коллекции никто не задетектил. Наиболее близко к 100% оказалась G DATA. Наверное, лучший антивирус

[Иван 290]

Иван, а кто получил/не получил значки?

Насколько я вижу, 100% коллекции никто не задетектил. Наиболее близко к 100% оказалась G DATA. Наверное, лучший антивирус

Валерий, а это важно?

это ж общеизвестно как они значки дают: надо чтоб в колонках Wildlist missed и Clean sets FP стоял нолик, тогда дадут значёк

все остальные результаты у них факультативные и на получение значка не влияют

так что увидеть, кто не взял легко, из известных не взяли BitDefender и CA, ну и VirusChaser на старом движке Dr.Web

но имхо значки фуфел

[Valery Ledovskoy 1082]

все остальные результаты у них факультативные и на получение значка не влияют

А, т.е. трояны пусть лезут, типа не профиль антивирусов?

но имхо значки фуфел

Согласен. ESET с пропуском 10% троянов значок получил, а BitDefender с 5% - не получил. 3 ложняка, ИМХО куда меньшее зло, чем пропуск значительного числа троянов. А McAfee с пропуском 15% троянов тоже получил значок? Мдя.

Понятно, тест окончательно стал сугубо пиарным, выворачивают результаты так, чтобы дать значки нуждающимся, и называют это методологией. А т.к. вендоры стали разбегаться, то вероятность получения пиарного фетиша у оставшихся теперь выше

[Иван 290]

Понятно, тест окончательно стал сугубо пиарным, выворачивают результаты так, чтобы дать значки нуждающимся, и называют это методологией. А т.к. вендоры стали разбегаться, то вероятность получения пиарного фетиша у оставшихся теперь выше

методология у них какая была такая и осталась, это как раз и "убивает" ценность данного теста - коллекция Wildlist не может быть критерием качества.

да в принципе и дополнительня коллекция, результаты которой не учитываются при получении значёчка (трояны, полиморфы, вормы и файл инфекторз), тоже скромная какая-то по объему.

[pROCKrammer 50]

Я не понял как у Авиры нет FP ?? мда ... прикол)

[Deja_Vu 366]

Касперский быстрее нода в тестах ВБ100%?

[georgy_n 80]

доктор веб не участвовал в тесте

Косвенно поучаствовал. Монстроподобный TrustPort, у которого только дистрибутив весит больше 100 MB и еще почти столько же скачивающий при первом обновлении, использующий 5-движков, имеет в своем арсенале и движок от Dr.Web.

Я не понял как у Авиры нет FP ?? мда ... прикол)

Никаких приколов. Третий год на сижу на Авире, и могу утверждать, что за последний год количество фолсов уменьшилось в разы и сошло на нет.

[Fil 0]

Не доверяю тестам VB100%... Не верю что ESET детектит 100% полиморфов... ну не верю, хоть убейте

[Иван 290]

Не верю что ESET детектит 100% полиморфов... ну не верю, хоть убейте

100% боюсь не детектит никто

я вот с удивлением для себя отметил, что нелепые ошибки в отчетах по тестированию - это вовсе не эксклюзив портала AM

вгляните ка на табличку в моём первом посте: как это может такое получатся, что пропустивший 182 сампла из Wildlist чудный антивирус AcraVir имеет уровень детекта 95,8%, а пропустивший 12 самплов Virus Chaser имеет 98,27%, а пропустивший 162 сампла Proland имеет уровень детекта 99,53%. не бьются цифирки-то, какая-то неевклидова тупометрия выходит

[Andrew 0]

Касперский быстрее нода в тестах ВБ100%?

А что не так? Подлог?

[Deja_Vu 366]

А что не так? Подлог?

Аргументом НОДа всегда была скорость проверки.

А тут даже в тесте от ВБ НОД дольше проверяет -))

[Сергей Ильин 1538]

Аргументом НОДа всегда была скорость проверки.

А тут даже в тесте от ВБ НОД дольше проверяет -))

Изюминка этого состоит в том, что российский Eset всегда преподносит тесты VB как эталон. Как же они теперь отмазываться будут, если ЛК начнет пиарить факт скоростной победы в этом тесте?

[radioelectron 80]

Как же они теперь отмазываться будут, если ЛК начнет пиарить факт скоростной победы в этом тесте?

Будут опускать ЛК, как все опускали их за высокую скорость и низкое качество проверки.))

[Andrew 0]

Аргументом НОДа всегда была скорость проверки.

А тут даже в тесте от ВБ НОД дольше проверяет -))

Так, мысли в слух: если при инсталляции ставить но не включать on-access компоненту то результаты могут сильно меняться от типа устанавливаемого антивирусного драйвера (legacy/minifilter). Т.е. мерять производительность сканеров надо без установки драйверов...

[Deja_Vu 366]

Так, мысли в слух: если при инсталляции ставить но не включать on-access компоненту то результаты могут сильно меняться от типа устанавливаемого антивирусного драйвера (legacy/minifilter). Т.е. мерять производительность сканеров надо без установки драйверов...

Мысли в слух:

Это тест VB100%

[radioelectron 80]

Российский Dr.Web отказался проходить августовское тестирование антивирусных программ VirusBulletin100. Это первый случай отказа российского антивирусного производителя от испытания, проводимого одноименным британским журналом.

Суть тестирования VB100 заключается в проверке антивирусным модулем коллекций «диких вирусов» (Wildlist) и «чистых файлов» (Clean Sets). Антивирус, не пропустивший ни одного экземпляра из первого списка и не «назвавший» вирусом ни одного файла из второго списка, удостаивается награды VB100%.

Однако, как утверждают независимые вирусные аналитики, в последнее время эта методика сильно устарела и не может считаться адекватной для определения качества антивируса. Это связано с тем, что тестеры не раскрывают состав обеих коллекций, но известно, что Wildlist пополняется крайне медленно и только определенными типами вирусов — под Windows. Претензии со стороны антивирусных вендоров также касаются и количества вирусов в коллекции — апрельский VB100 проходил на 700 вирусах, а августовский увеличился всего лишь на несколько десятков семплов.

Кроме тестирования на Wildlist, специалисты VirusBulletin дополнительно выводят результаты тестирования на собственной подборке вирусов (колонки Worms, File inspectors, Polimorphic и Trojans), которые не влияют на получение награды VB100. По мнению Ивана Стогова, эксперта портала Anti-Malware, антивирусные вендоры выходят из теста Virus Bulletin, так как признают его методику не соответствующей действительности. Эти демарши Trend Micro и Dr.Web (а первый из них совершила Panda Antivirus еще в 2003 г.) являются попыткой показать ущербность VB100 в его настоящем состоянии.

Как отметил в разговоре с CNews Борис Шаров, директор Dr.Web, подборка VirusBulletin покрывает всего лишь 10–15% всего вредоносного ПО: «Основным критерием составления Wildlist является реплицируемость (воспроизводимость — CNews) вирусов, поэтому различные полиморфные троянские программы, составляющие до 80% детектируемых вирусов, не входят в нее. По этой причине судить о качестве антивируса по прохождению теста на таком малом количестве материала не приходится».

«Оставшиеся в тесте вендоры, такие, как Eset и Symantec (особенно первый) уже исторически строят свою рекламную стратегию на VB100% и специально затачиваются под его прохождение. Критиковать, а тем более выходить из этого теста для них абсолютно невыгодно. Другие же, как „Лаборатория Касперского”, понимают, что тест несовершенен, но участвуют в нем по инерции», — добавляет Иван Стогов.

Несколько другой точки зрения придерживается Виталий Янко, коммерческий директор Agnitum: «Несмотря на частично обоснованные заявления о „потере тестом и наградой VB100 веса и авторитета”, в резюме последнего отчета VB100, доступного подписчикам, сообщается о значительном пересмотре методик, которые будут отработаны в ходе ближайших тестирований. Там же даны обещания „усложнить жизнь” многим решениям, которые ранее претендовали на награду или получали ее». В своем комментарии CNews господин Янко, подчеркнул, что отсутствие в VB100 Dr.Web и Trend Micro продиктованы «разными причинами — для одной компании это скорее причины технического характера, а для другой — политического».

Напомним, что компания Trend Micro объявила о своем выходе из тестов VB100 еще в начале июня, критикуя организаторов за недостаточно корректный с точки зрении состояния современных вирусных угроз метод оценки качества антивирусов.

Интересно, что скептически к VB относится и успешно прошедшая тест «Лаборатория Касперского». «Несмотря на то, что мы участвовали в августовском тесте и получили награду VB100%, наше отношение к данному тесту остается неизменным. Мы считаем, что методология теста страдает множеством изъянов, на которые мы не раз указывали. Мы продолжаем участвовать в тестах VB, поскольку, к сожалению, до сих пор многие заказчики воспринимают количество наград VB100% как некий значимый критерий качества антивируса и даже выставляют этот параметр как одно из условий тендеров по выбору антивирусной защиты. Тем не менее, мы рассматриваем возможность выхода из тестов VB, в том случае, если методология тестирования не претерпит изменений», — заявил CNews руководитель отдела стратегического маркетинга «Лаборатории Касперского» в регионе EEMEA Олег Гудилин.

Источник

[Виталий Я. 859]

Очень неудобно выходит - не сравнить теперь скорости работы интересных российскому рынку решений по данным VB100. Уж в них-то, я надеюсь, сомнений у вышедших из тестирования не было. Хотя господа из Dr. Web тем самым дадут больший вес тесту Anti-Malware.ru

[Ell 22]

омф! Что они натворили???? Eset хуже касперского?? Да у них деньги отберут! Самоубийцы

[Сергей Ильин 1538]

Еще одним участником VB стало меньше, а это уже реальная тенденция получается.

[Иван 290]

а ничего, что тема давно уже есть http://www.anti-malware.ru/forum/index.php?showtopic=5131

Очень неудобно выходит - не сравнить теперь скорости работы интересных российскому рынку решений по данным VB100.

ну вы вот, например, не участвуете в тестах AV-Comparatives - и не сравнить теперь ни по детекту, ни по скорости, ни по фолсам аутпост антивирус и другие интересные российскому рынку антивирусы на основе этого теста

[Dr.Golova 55]

Неужели НОД, который постоянно спонсировал ВБ последние 5 лет вдруг стал хуже проклятого каспера, который держится на чесмтном слова и не более!

Куда же руководство ЕСЕТа смотрит!

[Viktor 669]

Еще парочка подобных демаршей и они наверняка пересмотрят методику

[Umnik 997]

...или скажу что-то вроде "Мы настолько круты, что некоторые вендоры признали себя аутсайдерами и вышли из теста". Кто этот ВБ знает? (вопрос риторический)

[Viktor 669]

...или скажу что-то вроде "Мы настолько круты, что некоторые вендоры признали себя аутсайдерами и вышли из теста". Кто этот ВБ знает? (вопрос риторический)

Ну если один-два, то еще могут сказать, но задуматься, появится третий - еще больше задумаются, а будет не три, а пять-семь - труба им.