Вся правда о Virus Bulletin

[broker 30]

Открытая. В том смысле, что если вы разработчик анитвируса или теста, то вам ее дадут. Просто так ее скачать, разумеется, нельзя.

после этого кто-то не проходит тест?

[Михаил Кондрашин 55]

после этого кто-то не проходит тест?

Вероятно разработчикам, в отличие от тестеров, ее не обновляют "в реальном времени".

[broker 30]

Вероятно разработчикам, в отличие от тестеров, ее не обновляют "в реальном времени".

значит элемент случайности всё-таки есть.

[Михаил Кондрашин 55]

значит элемент случайности всё-таки есть.

В определенном смысле, наверное, да.

[Сергей Ильин 1538]

после этого кто-то не проходит тест?

Это смешно, но некоторые особо ленивые не проходят :-)

Я об этом писал в самом первом посте. VB создает все условия, чтобы вендоры проходили тест, они, по сути, напрямую в этом заинтересованы.

[Иван 290]

Ребят ну о чем вы говорите

ну почитайте, что у них написано

они тестируют на ITW списке, там ща ну около 6000 вирусов, щас небось за месяц стока новых появляется.

Ничего подобного. Много появляется экземпляров malware в целом, а не вирусов.

Вот у Клименти коллекция 400 000, вот это ты пойди и пройди

достойно, это ты давай.

А откуда коллекция у этого самого Клименти?

Дело в том, что VB определяет некий базовый уровень для антивируса. Если антивирус достаточно стабильно получает свой VB100%, то это не самый худший антивирус. Если стабильно не получает, то это "полный отстой".

Фишка VB в том, что они используют коллекцию ITW, содержимое которой четко определено. Все остальные коллекции еще требуют серьезной аргументации, чтобы тестирование на их базе имело хоть какой-нибудь смысл.

Михаил я термин вирусы понимал в широком смысле этого слово, простие если ввел в заблуждение. Давайте заменим его на ВРЕДОНОСЫ

Вы же сами подтверждаете, что тестирование идет на ITW списке - зайдите и поглядите, пожалуйста, сколько сейчас там сейчас экземпляров - месяц назад было не больше 6000.

Там только наиболее распространенные экземпляры, но мне лично не будет легче от того, что меня здесь в России накроет малораспространенный в США (например) экземпляр.

А климентьевская коллекция собирается очень просто.

В ней есть ITW вредоносы и вредоносы, которые присылают участники теста - это все описано в методологии его.

Тренд долгое время показывал очень средние результаты в этих тестах, а теперь отказался в них участвовать. В чем причина отказа я не знаю, вам видней.

А VB100% в силу своей малой коллекции ВРЕДОНОСОВ это необходимый минимум, но не более того.

Как сказал Касперский в кулуарах антвирусной конференции, антивирусные вендоры участвую в VB100% потому, что легче участвовать, чем потом долго объяснять почему не участвовали.

VB100% хорошо раскручен просто.

Добавлено спустя 11 минут 51 секунду:

т.е. фактически коллекция VB является неким эталлоном для тестирования Антивируса. Интересно, коллекция открыта или закрытая?

ITW список это список http://www.wildlist.org/WildList/

VB берет лист опубликованный за несколько месяцев до теста.

Это строчки из июньского теста прошлого года

The test sets were aligned to the February 2005 WildList, with a product submission deadline of 3 May 2005. This time lag should have been enough for all but the most tardy developers to catch up with detection, thus high detection rates were expected.

[Михаил Кондрашин 55]

Это смешно, но некоторые особо ленивые не проходят :-)

Я об этом писал в самом первом посте. VB создает все условия, чтобы вендоры проходили тест, они, по сути, напрямую в этом заинтересованы.

Вероятно, это не только лень.

Добавлено спустя 13 минут 59 секунд:

Михаил я термин вирусы понимал в широком смысле этого слово, простие если ввел в заблуждение. Давайте заменим его на ВРЕДОНОСЫ

Давайте, но составители ITW про это не узнают и все равно не будут добавлять, например, spyware.

Вы же сами подтверждаете, что тестирование идет на ITW списке - зайдите и поглядите, пожалуйста, сколько сейчас там сейчас экземпляров - месяц назад было не больше 6000.

Угу. Это факт. Дело в том, что количество реально опасных вирусов сильно раздуто некоторыми антивирусными компаниями. Реально вирусов мало. Просто теперь "вирусами" называют все подряд. Даже не очень опасное ПО.

Там только наиболее распространенные экземпляры, но мне лично не будет легче от того, что меня здесь в России накроет малораспространенный в США (например) экземпляр.

Согласен.

А климентьевская коллекция собирается очень просто.

В ней есть ITW вредоносы и вредоносы, которые присылают участники теста - это все описано в методологии его.

Тренд долгое время показывал очень средние результаты в этих тестах, а теперь отказался в них участвовать. В чем причина отказа я не знаю, вам видней.

Может быть исключительно маркетинговая, но я уточню в TrendLabs.

А VB100% в силу своей малой коллекции ВРЕДОНОСОВ это необходимый минимум, но не более того.

Совершенно верно.

Как сказал Касперский в кулуарах антвирусной конференции, антивирусные вендоры участвую в VB100% потому, что легче участвовать, чем потом долго объяснять почему не участвовали.

VB100% хорошо раскручен просто.

Я тоже это слышал и разделяю это мнение. Для ЛК это правильный подход.

т.е. фактически коллекция VB является неким эталлоном для тестирования Антивируса. Интересно, коллекция открыта или закрытая?

ITW список это список http://www.wildlist.org/WildList/

VB берет лист опубликованный за несколько месяцев до теста.

Это только список. Саих вирусов там нет. По самому списку ничего протестировать нельзя.

[Михаил Кондрашин 55]

А климентьевская коллекция собирается очень просто.

В ней есть ITW вредоносы и вредоносы, которые присылают участники теста - это все описано в методологии его.

Тренд долгое время показывал очень средние результаты в этих тестах, а теперь отказался в них участвовать. В чем причина отказа я не знаю, вам видней.

Вот, что мне удалось выяснить в TrendLabs:

Некоторое время назад компания Trend Micro предоставляла PC-cillin для проведения тестов Клементи, но эти тесты не устраивали Trend Micro, так как коллекция "вредоносов" плохо поддерживается, в ней есть много неудачных образцов, например испорченные тела вирусов.

В конце прошлого года Андреас попросил подписать с ним контракт и выступить в качестве спонсора его работы для возможности участвовать. Компания Trend Micro отказалась и с тех пор не участвует в этих тестах.

Вообще-то нет реального выигрыша от участия в его тестах. У него не лучшая коллекция и от него лаборатории TrendLabs не получали недетектируемых образов ни на периодической основе, ни даже для опасных образцов.

Кроме этого, тесты av-comparatives.org не публикуются в прессе, а публика обращает больше внимания на награду VB100 и ICSA-сертификацию, но не на av-comparatives.org

[Иван 290]

Понятно, логично поступили. Глупо спонсировать тест, в котором у тебя результаты не самые лучшие.

НО с другой стороны VB100% сейчас получают практически все, смысл этого теста немного вырождается мне кажется

[Сергей Ильин 1538]

The test sets were aligned to the February 2005 WildList, with a product submission deadline of 3 May 2005. This time lag should have been enough for all but the most tardy developers to catch up with detection, thus high detection rates were expected.

Вот кстати эта фраза напрямую свидетельствует, что VB дает участиникам 2 месяца форы на доведение детекта по коллекции ITW, к которой, так к слову, у вендоров есть доступ, до ума довести.

А то я помню headache, все в этом сомневался.

[Михаил Кондрашин 55]

Понятно, логично поступили. Глупо спонсировать тест, в котором у тебя результаты не самые лучшие.

Мне кажется, что вы в ответе увидели то, что хотели увидеть. Спонсировать тест, где у тебя лучшие результаты, тоже сомнительно. Главная причина в двух пунктах

1. Плохая коллекция

2. Клементи не делится ей с участниками

От сюда можно сделать вывод, что кто-то присылает Клементи много всякой мути, а он не проверяя добавляет ее к своми 400000 образцам. После этого, это "кто-то" получает высокий результат, а у конкурентов нет шансов улучшить свои показатели.

[Николай Терещенко 0]

Вообще после всего обсуждения я понял лишь одно:

- Пользователю нет никакой пользы от этих тестов, т.к. в одном случае компании не участвуют, а в другом все получают плюсы ...

Разве что можно провести такой тест. Накопить вредоносов (не много), которые не детектит какой-то из антивирусных вендоров и официально заслать их им. и Замерить время реакции ...

Но это слишком сложно сделать, да и сам тест сомнительный, так наиболее вредоносные вредоносы (извините за каламбур) добавляются вендорами быстро, а менее - медленнее ...

Да и вообще, я лично стал большим скептиком в отношении тестов на коллекциях вирусов. Скажу больше - я им не верю.

Самые, на мой взгляд, адекватные тесты (сравнения):

- на имеемую в настоящий момент функциональность;

- на время реакции компаний.

[Dmitry Perets 30]

Самые, на мой взгляд, адекватные тесты (сравнения):

- на имеемую в настоящий момент функциональность;

- на время реакции компаний.

Вот и-мен-но! =)

[Mr. Justice 771]

Понятно, логично поступили. Глупо спонсировать тест, в котором у тебя результаты не самые лучшие.

Мне кажется, что вы в ответе увидели то, что хотели увидеть. Спонсировать тест, где у тебя лучшие результаты, тоже сомнительно. Главная причина в двух пунктах

1. Плохая коллекция

2. Клементи не делится ей с участниками

От сюда можно сделать вывод, что кто-то присылает Клементи много всякой мути, а он не проверяя добавляет ее к своми 400000 образцам. После этого, это "кто-то" получает высокий результат, а у конкурентов нет шансов улучшить свои показатели.

Михаил, меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

[headache 0]

ITW список это список http://www.wildlist.org/WildList/

VB берет лист опубликованный за несколько месяцев до теста.

Это строчки из июньского теста прошлого года

The test sets were aligned to the February 2005 WildList, with a product submission deadline of 3 May 2005. This time lag should have been enough for all but the most tardy developers to catch up with detection, thus high detection rates were expected.

А то я помню headache, все в этом сомневался.

Я до сих пор сомневаюсь: а откуда вообще такая информация, что VB использует только WildList у себя в коллекции ITW? Ткните плз носом, т.к. у align несколько значений (см. второе):

http://thesaurus.reference.com/search?q=align&db=roget

Но даже если и только на WildList, то всё же (если быть совсем точным), это не тоже самое что и:

Если антивирус постигла неудача, об этом сообщается вендору и оно должен исправить все в течении месяца, после чего будет проведено повторное тестирование

Никаких повторных тестов нет - озвучен список вирусов, а вот сэмплы могут быть другие совсем (особенно это касается полиморфных вирусов - есть такие ведь в ITW).

[Сергей Ильин 1538]

Никаких повторных тестов нет - озвучен список вирусов

Так в том то и дело, что не только список озвучен, у вендоров есть эта коллекции, причем они имеют два месяца, чтобы довести детект по ней до 100%, что все и делают. Когда подходит время теста, для большинства, кто эти два месяца не сидел сложа руки, это пустая формальность.

Касперский вообще заявлял с помню, что его ребятам достаточно этих пару месяцев, чтобы с нуля написать антивирус, которые получит VB100%

[headache 0]

Так в том то и дело, что не только список озвучен, у вендоров есть эта коллекции, причем они имеют два месяца, чтобы довести детект по ней до 100%, что все и делают.

Я ещё раз хочу спросить - а где сказано что

1) VB коллекция сэмплов взята у WildList?

2) VB коллекция содержит только сэмплы из списка WildList?

Вы видимо не совсем понимаете разницу между "коллекция построена на сэмплах вирусов из списка WildList" и "коллекция сэмплов WildList". Названия-то вирусов в обоих коллекциях могут быть одинаковые, а сами сэмплы могут быть разные - особенно это касается полиморфных вирусов, а они в ITW есть - например:

http://vil.nai.com/vil/content/v_99040.htm

Безусловно это не должно быть проблемой для вендора, но всё-таки это не совсем то, что описываете вы.

PS: Я ни в коей мере не защищая VB, своё отношение к их тестам я уже высказал, но я всё-таки за объективную информацию.

[Сергей Ильин 1538]

Я ещё раз хочу спросить - а где сказано что

1) VB коллекция сэмплов взята у WildList?

Это сказано вот тут http://www.virusbtn.com/resources/wildlists/index.xml (для просмотра нужна регистрация на VB)

The WildList Organization collects monthly virus reports from anti-virus experts around the world. The data from the reports are compiled to produce The WildList - a list of those viruses currently spreading throughout a diverse user population. A virus that is reported by two or more of the WildList reporters will appear in the top-half of the list and is deemed to be 'In the Wild'.

In recent times, the list has been used by Virus Bulletin and other anti-virus product testers as the definitive guide to the viruses found in the real world.

An anti-virus product is expected to score 100% detection against this group of viruses.

2) VB коллекция содержит только сэмплы из списка WildList?

Вот тут написано, что тест проводится по коллекции ITW, больше там ни о чем речь не идет http://www.virusbtn.com/vb100/index

The VB 100% award was first introduced in 1998. In order to display the VB 100% logo, an anti-virus product must have demonstrated in our tests that:

* It detects all In the Wild viruses during both on-demand and on-access scanning.

* It generates no false positives when scanning a set of clean files.

На той же странице в конце вот такой дисклеймер приводится:

меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

Они продвигают свой HouseCall, он-лайн сканер, а эти проекты вероятно этому мешают. Потом по детекту Trend Micro никогда не был чемпионов, зачем это демонстрироваться лишний раз? :wink:

[Mr. Justice 771]

Они продвигают свой HouseCall, он-лайн сканер, а эти проекты вероятно этому мешают.

Хм...а каким образом это может им мешать?

Потом по детекту Trend Micro никогда не был чемпионов, зачем это демонстрироваться лишний раз? :wink:

Не исключаю, что это одна из возможных причин.

И все-таки хотелось получить информацию из "первых рук".

[headache 0]

headache писал(а):

1) VB коллекция сэмплов взята у WildList?

The WildList Organization collects monthly virus reports from anti-virus experts around the world. The data from the reports are compiled to produce The WildList - a list of those viruses currently spreading throughout a diverse user population. A virus that is reported by two or more of the WildList reporters will appear in the top-half of the list and is deemed to be 'In the Wild'.

In recent times, the list has been used by Virus Bulletin and other anti-virus product testers as the definitive guide to the viruses found in the real world.

По-моему вы видите то, что хотите увидеть, а не то что написано:

"a list of those viruses" != "a collection of viruses samples" ("a list of those viruses samples").

Вот тут написано, что тест проводится по коллекции ITW, больше там ни о чем речь не идет

Вы уверены? А вот это:

* It generates no false positives when scanning a set of clean files.

Или этот набор файлов они тоже выдают вендорам?

Добавлено спустя 1 минуту 56 секунд:

PS: ну хоть disclaimer у них честный

[Сергей Ильин 1538]

По-моему вы видите то, что хотите увидеть, а не то что написано:

"a list of those viruses" != "a collection of viruses samples" ("a list of those viruses samples").

Разве это меняет суть вопроса? Речи о каких-то других базах кроме ITW у них не идет. Если есть сомнения, предлагаю попробовать найти опровержение :wink:

[Михаил Кондрашин 55]

Михаил, меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

Эти сайты простейший способ для вирусописателя выяснить, что его новое детеще не детктируестя пока никем.

[broker 30]

Михаил Кондрашин

ну согласитесь

простейший способ

и как следствие неважный аргумент

[headache 0]

Разве это меняет суть вопроса?

Несколько да. Hint: полиморфики, "поврежденные" заражения.

Эти сайты простейший способ для вирусописателя выяснить, что его новое детеще не детктируестя пока никем.

Это вообщем-то смешной аргумент, такая возможность есть на сайтах почти всех ведущих производителей. Не говоря уж о том, что достать сканеры ведущих производителей и ключи к ним для вирусописателей не самая сложная задача.

[Mr. Justice 771]

Михаил, меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

Эти сайты простейший способ для вирусописателя выяснить, что его новое детеще не детктируестя пока никем.

Михаил, а разве нельзя эту информацию получить на официальных сайтах вендоров?