Trend Micro отказалась от участия в тестах VB100%

[Иван 290]

http://www.techworld.com/security/news/ind...m?newsid=101685

Trend Micro mulls VB100 test pull-out

как перевели это наши СМИ: Trend Micro планирует навсегда покинуть тестирование Virus Bulletin 100, критикуя его за недостаточно компетентный выбор пути оценки способности антивирусов противостоять современным угрозам в Интернете.

**********************

*************************

http://www.techworld.com/security/news/ind...m?newsid=101685

Security giant Trend Micro is considering pulling its anti-virus software from the Virus Bulletin 100 (VB100) tests, claiming they no longer reflect contemporary malware.

In an interview with Techworld, Trend Micro's anti-malware CTO Raimund Genes was blunt about the company's feelings. "It [the VB100] was created in the 20th Century when we had one outbreak per quarter," he said. "The marketing value of the logo is high but it doesn't mean anything."

According to Genes, the VB100 pitted anti-virus products against a whitelist of viruses drawn from the collection of the independently-managed and respected Wildlist.org. However, although drawn from real-world viruses, the volume, variety and evolution of malware now rendered the use of a Wildlist subset almost meaningless.

According to Genes, other vendors were also unhappy with this aspect of the tests. He contrasted the VB100 unfavourably with the huge malware sets used by Austrian outfit AV Comparatives, which he suggested would be a better reflection of the real threats anti-malware programs were now up against.

If the pull-out comes to pass, it will be a blow not just to Virus Bulletin, but to the idea underpinning the VB100 itself. According to Virus Bulletin's website, Trend Micro has taken part in 27 tests carried out over the years by the title. The VB100 - conducted free of charge but vendors must pay to use the logo on paper marketing - would continue, but a major AV engine would no longer be there for comparison.

John Hawes of Virus Bulletin defended the VB100, saying that viewing it as a definitive malware test missed the point. It measured a basic level of competence. Vendors had to score 100 percent in order to be accredited, and had to avoid all false positives, a high but fair level of achievement against malware from a publically-known set.

"The point of the VB100 is that everyone should get everything on that list," said Hawes. "It would be a shame if they [Trend] did not take part."

He revealed that Virus Bulletin was working on a new and more comprehensive test, a sort of "VB1000", which would include leading-edge malware. He was unable to be drawn on timescales for this, but referred to the complexity of designing and carrying out such tests.

Stuart Taylor of Sophos was happy to defend the credibility of the VB100. "Because VB100 is very much a pass or fail test many people expect products to achieve a VB100 as a matter of course. Therefore it is a requirement for most vendors to participate," he said.

However "It has to be acknowledged that testing security products is becoming far more complex and testers need to address the changing threat landscape and the emerging technologies that vendors are using to counter the latest threats," he added.

A promising speck on the horizon comes in the form of the non-profit Anti-Malware Testing Standards Organization (AMTSO), a cross-vendor organisation that has held a number of meetings in the hope that some new standards can be agreed on software testing. So far, nothing has come out of its initial meetings held in Bilbao and Amsterdam, but Taylor - a member of the management committee - was hopeful that a forthcoming meeting set for July, to be held at Microsoft's Redmond campus, might speed the plough.

"AMTSO is going to provide guidelines for testing which will help with testing the complexity of today's malware and different technologies. The aim is to raise the bar on testing relevance and quality," said Taylor.

[Deja_Vu 366]

Наконец то.

Надеюсь Российские вендоры покинут вслед за Тренд Микро данное тестирование.

[Сергей Ильин 1538]

Очень важная новость. Очень показательна причина, о которой мы уже много говорили на нашем форуме: тесты являются устаревшими и не показывают ровным счетом ничего.

In an interview with Techworld, Trend Micro's anti-malware CTO Raimund Genes was blunt about the company's feelings. "It [the VB100] was created in the 20th Century when we had one outbreak per quarter," he said. "The marketing value of the logo is high but it doesn't mean anything."

[Михаил Орешин 70]

Неоднозначная новость.

С одной стороны ценность сего теста очевидна. Суть: «На моей рабочей станции (именно на моей) в 15:12 по CET в 12.07.05 ловились (не ловились) все коды которые мне подсунули…». Вопрос: «И чо ?!», если именно в это время в рамках корпоративной сети был пропущен код вполне логичен. Поэтому никогда не вступал в религиозные споры по VB100.

С другой стороны. Есть некая «база», которой стоит соответствовать. Если в ближайшее время не возникнет реальной альтернативы, демарш Тренда будет выглядеть, по крайней мере, странным…

[A. 876]

а в каких тестах ТМ еще остался ?

[Иван 290]

а в каких тестах ТМ еще остался ?

AV-Test.org

[Сергей Ильин 1538]

Вопрос, кто следующий? Я вот не очень понимаю зачем там участвует DrWeb, проигрывая все последние тесты подряд. Не лучше ли тоже отказаться?

[Кирилл Керценбаум 671]

Вопрос, кто следующий? Я вот не очень понимаю зачем там участвует DrWeb, проигрывая все последние тесты подряд. Не лучше ли тоже отказаться?

Ну по мне эта позиция выглядит намного приличнее: проиграл - остался, доказывая что делаешь из результатов выводы и пытаешься что-то изменить, а вот позиция - ну раз я у вас никогда не побеждаю, тогда вы плохие и я буду сам по себе - выглядит со стороны - ущербно

[Сергей Ильин 1538]

Так если считать тесты VB ацтоем, то зачем участвовать то? К тому еще и проигрывать их регулярно. Если люди делают плохие тесты, которые не отражают реальное положение дел, к чему участовать то в них?

[Sergey Krasnov 100]

Как говорил уважаемый Е.К. - проще участвовать в тесте, чем потом объяснять, почему не участвовал.

Мне тоже больше близка позиция Кирилла, что лучше участвовать в тесте, если по итогам результатов проводится анализ и вносятся изменения/улучшения. Если результаты (особенно, провалы) не анализируются и ничего не исправляется, то да, участие становится бессмысленным.

[Deja_Vu 366]

Ну по мне эта позиция выглядит намного приличнее: проиграл - остался, доказывая что делаешь из результатов выводы и пытаешься что-то изменить, а вот позиция - ну раз я у вас никогда не побеждаю, тогда вы плохие и я буду сам по себе - выглядит со стороны - ущербно

т.е. каждый раз за свои деньги пиарить eset вы считаете корректным, а потом люди будут говорить ... "вон НОД обошел опять все продукты".

Поверте, есть такие сис админы, которым расскаываешь реальное положение дел, всеравно твердят, что НОД лучший, а те кто проверяют лучше знают как.

[Михаил Орешин 70]

каждый раз за свои деньги пиарить eset вы считаете корректным, а потом люди будут говорить ... "вон НОД обошел опять все продукты".

Поверте, есть такие сис админы, которым расскаываешь реальное положение дел, всеравно твердят, что НОД лучший, а те кто проверяют лучше знают как.

5 минутка ненависти к НОД 32 ? Что мешает остальным так же пиарится ? Ну понятно что это риторический вопрос. Факт тот, что работает же – то есть продажи идут, остальное все от лукавого.

PS О, сегодня же Трендовская партнерка, интересно кто-нибудь поднимет сию тему ? Надеюсь нет, так как отвечать будет Миша Кондрашин, а что он скажет известно априори.

[Иван 290]

Факт тот, что работает же – то есть продажи идут, остальное все от лукавого.

не могу не согласиться

но надеюсь тестам VB в их текущем виде осталось недолго, причем безотносительно к есет

[Михаил Орешин 70]

не могу не согласиться

но надеюсь тестам VB в их текущем виде осталось недолго, причем безотносительно к есет

Ну да. То что я и хотел разделить.

1) ПРОДАЖА - методы могут быть разные, как их генерит вся цепочка продаж и насколько они эффективны - это один вопрос. Если VB100 эффективен как метод продвижения - замечательно, его надо использовать. Если демарш в сторону VB100 эффективен - тоже.

2) ТЕСТЫ Ценность самого теста для живой сети - ничтожна.

Как-то так...

[Alexey Dudnikov 5]

и правильно, что вышли. такого рода тесты (прогон по базе вирусов) никогда не являлись отражением реальной сущности антивирусного решения. дело в том что служба web reputation не позволила бы проникнуть определенному кол-ву вирусов из базы, и смысл тогда проверять её по сигнатуре

[Кирилл Керценбаум 671]

и правильно, что вышли.

Может и правильно, только момент выбран настолько неудачно, что многими это вопринимается как возможность избежать мнения что уровень детекта не соответствует требуемому уровню

такого рода тесты (прогон по базе вирусов) никогда не являлись отражением реальной сущности антивирусного решения

И да, и нет. Так как ничего другого лучшего до сих пор не придумано, то VB100 позволяет увидеть соответсвие АВ решения некому среднему уровню детекта, который необходим любому АВ продукту. Также очень важен показатель Ложных срабатываний, с целесообразностью которого вряд ли стоит спорить.

дело в том что служба web reputation не позволила бы проникнуть определенному кол-ву вирусов из базы, и смысл тогда проверять её по сигнатуре

То же самое можно сказать и про модули Проактивной защиты или системы предотвращения вторжений, применяемые в различных АВ решениях, но для определения их эффективности проводятся другие тесты, также не менее спорные и неоднозначные

[IT-Shark 0]

Что мешает остальным так же пиарится ?

Ну понятно что это риторический вопрос.

Риторический? Отнюдь. В первую очередь порядочность. Именно так пиариться ни одна порядочная компания не захочет. Никогда.

Что касается Trend Micro - разве участие в определённых тестах не является добровольным?

Мне всегда казалось, что оно добровольно...

Кстати, мне почему то кажется, что VB100 несколько аффилирован...

[TANUKI 240]

и правильно, что вышли. такого рода тесты (прогон по базе вирусов) никогда не являлись отражением реальной сущности антивирусного решения.

Извините меня, ламера ушастого, конечно, но я, как пользователь, считаю, что "антивирусное решение" на то и "решение", что бы вирусы и прочую заразу ловить. Какова же "реальная сущность" продуктов Тренд Микро, если не ловить заразу, а? И почему у других получается тест проходить, а у некоторых нет? Вселенский заговор?

[Deja_Vu 366]

Извините меня, ламера ушастого, конечно, но я, как пользователь, считаю, что "антивирусное решение" на то и "решение", что бы вирусы и прочую заразу ловить. Какова же "реальная сущность" продуктов Тренд Микро, если не ловить заразу, а? И почему у других получается тест проходить, а у некоторых нет? Вселенский заговор?

Хм,.. Касперский сколько раз тест прошел? Однакож мо мнение по поводу NOD и KIS однозначно ... ноду еще далеко до касперского -))

[TANUKI 240]

Хм,.. Касперский сколько раз тест прошел? Однакож мо мнение по поводу NOD и KIS однозначно ... ноду еще далеко до касперского -))

Да не в ВБ по большому случаю дело. Просто после любого теста, где какой-то из известных вендоров занимает не то место, на которое расчитывал, начинаются разговоры в стиле непонятых гениев: "Ах, на самом деле вы не понимаете задумку, плошляки...". Ну или как в случае с Тренд Микро "вы не поняли реальную сущность нашего продукта".

[Сергей Ильин 1538]

Ну или как в случае с Тренд Микро "вы не поняли реальную сущность нашего продукта".

Тут другое немного. Тесты VB действительно уже мало актуальны, так как задумывались и формировались давно. Они не отображают положения дел даже в плане обычного детекта, не говоря уже про другие технологии.

[TANUKI 240]

Тут другое немного. Тесты VB действительно уже мало актуальны, так как задумывались и формировались давно. Они не отображают положения дел даже в плане обычного детекта, не говоря уже про другие технологии.

Наверняка так и есть, но ведь другие вендоры их проходят!

[Deja_Vu 366]

Наверняка так и есть, но ведь другие вендоры их проходят!

Уже много раз говорилось, можно сделать подборку вирусов и условий прохождения в тесте так, что бы проходил его лишь один, нужный нам антивирус.

Такие тесты просто бесполезны.

[TANUKI 240]

Уже много раз говорилось, можно сделать подборку вирусов и условий прохождения в тесте так, что бы проходил его лишь один, нужный нам антивирус.

Такие тесты просто бесполезны.

Подождите, но ведь не один НОД32 проходит тест, но и другие вендоры не понимаю, зачем вообще подбирать какую-то коллекцию отдельно каждому, если можно просто вручить тогда эту блямбу

[Сергей Ильин 1538]

Подождите, но ведь не один НОД32 проходит тест, но и другие вендоры

Проходят, чтобы "быть в тусовке" и получить такой же значок, чтобы не спрашивали потом, почему у них есть, а у вас - нет. По сути VB - это не тест, а бизнес по продаже значков уже давно.