Сергей Ильин

Вся правда о Virus Bulletin

В этой теме 54 сообщений

Открытая. В том смысле, что если вы разработчик анитвируса или теста, то вам ее дадут. Просто так ее скачать, разумеется, нельзя.

после этого кто-то не проходит тест? :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
после этого кто-то не проходит тест? :)

Вероятно разработчикам, в отличие от тестеров, ее не обновляют "в реальном времени".

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вероятно разработчикам, в отличие от тестеров, ее не обновляют "в реальном времени".

значит элемент случайности всё-таки есть.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
после этого кто-то не проходит тест?

Это смешно, но некоторые особо ленивые не проходят :-)

Я об этом писал в самом первом посте. VB создает все условия, чтобы вендоры проходили тест, они, по сути, напрямую в этом заинтересованы.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ребят ну о чем вы говорите

ну почитайте, что у них написано

они тестируют на ITW списке, там ща ну около 6000 вирусов, щас небось за месяц стока новых появляется.

Ничего подобного. Много появляется экземпляров malware в целом, а не вирусов.

Вот у Клименти коллекция 400 000, вот это ты пойди и пройди

достойно, это ты давай.

А откуда коллекция у этого самого Клименти?

Дело в том, что VB определяет некий базовый уровень для антивируса. Если антивирус достаточно стабильно получает свой VB100%, то это не самый худший антивирус. Если стабильно не получает, то это "полный отстой".

Фишка VB в том, что они используют коллекцию ITW, содержимое которой четко определено. Все остальные коллекции еще требуют серьезной аргументации, чтобы тестирование на их базе имело хоть какой-нибудь смысл.

Михаил я термин вирусы понимал в широком смысле этого слово, простие если ввел в заблуждение. Давайте заменим его на ВРЕДОНОСЫ

Вы же сами подтверждаете, что тестирование идет на ITW списке - зайдите и поглядите, пожалуйста, сколько сейчас там сейчас экземпляров - месяц назад было не больше 6000.

Там только наиболее распространенные экземпляры, но мне лично не будет легче от того, что меня здесь в России накроет малораспространенный в США (например) экземпляр.

А климентьевская коллекция собирается очень просто.

В ней есть ITW вредоносы и вредоносы, которые присылают участники теста - это все описано в методологии его.

Тренд долгое время показывал очень средние результаты в этих тестах, а теперь отказался в них участвовать. В чем причина отказа я не знаю, вам видней.

А VB100% в силу своей малой коллекции ВРЕДОНОСОВ это необходимый минимум, но не более того.

Как сказал Касперский в кулуарах антвирусной конференции, антивирусные вендоры участвую в VB100% потому, что легче участвовать, чем потом долго объяснять почему не участвовали.

VB100% хорошо раскручен просто.

Добавлено спустя 11 минут 51 секунду:

т.е. фактически коллекция VB является неким эталлоном для тестирования Антивируса. Интересно, коллекция открыта или закрытая?

ITW список это список http://www.wildlist.org/WildList/

VB берет лист опубликованный за несколько месяцев до теста.

Это строчки из июньского теста прошлого года

The test sets were aligned to the February 2005 WildList, with a product submission deadline of 3 May 2005. This time lag should have been enough for all but the most tardy developers to catch up with detection, thus high detection rates were expected.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Это смешно, но некоторые особо ленивые не проходят :-)

Я об этом писал в самом первом посте. VB создает все условия, чтобы вендоры проходили тест, они, по сути, напрямую в этом заинтересованы.

Вероятно, это не только лень. ;)

Добавлено спустя 13 минут 59 секунд:

Михаил я термин вирусы понимал в широком смысле этого слово, простие если ввел в заблуждение. Давайте заменим его на ВРЕДОНОСЫ

Давайте, но составители ITW про это не узнают и все равно не будут добавлять, например, spyware.

Вы же сами подтверждаете, что тестирование идет на ITW списке - зайдите и поглядите, пожалуйста, сколько сейчас там сейчас экземпляров - месяц назад было не больше 6000.

Угу. Это факт. Дело в том, что количество реально опасных вирусов сильно раздуто некоторыми антивирусными компаниями. Реально вирусов мало. Просто теперь "вирусами" называют все подряд. Даже не очень опасное ПО.

Там только наиболее распространенные экземпляры, но мне лично не будет легче от того, что меня здесь в России накроет малораспространенный в США (например) экземпляр.

Согласен.

А климентьевская коллекция собирается очень просто.

В ней есть ITW вредоносы и вредоносы, которые присылают участники теста - это все описано в методологии его.

Тренд долгое время показывал очень средние результаты в этих тестах, а теперь отказался в них участвовать. В чем причина отказа я не знаю, вам видней.

Может быть исключительно маркетинговая, но я уточню в TrendLabs.

А VB100% в силу своей малой коллекции ВРЕДОНОСОВ это необходимый минимум, но не более того.

Совершенно верно.

Как сказал Касперский в кулуарах антвирусной конференции, антивирусные вендоры участвую в VB100% потому, что легче участвовать, чем потом долго объяснять почему не участвовали.

VB100% хорошо раскручен просто.

Я тоже это слышал и разделяю это мнение. Для ЛК это правильный подход.

т.е. фактически коллекция VB является неким эталлоном для тестирования Антивируса. Интересно, коллекция открыта или закрытая?

ITW список это список http://www.wildlist.org/WildList/

VB берет лист опубликованный за несколько месяцев до теста.

Это только список. Саих вирусов там нет. По самому списку ничего протестировать нельзя.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А климентьевская коллекция собирается очень просто.

В ней есть ITW вредоносы и вредоносы, которые присылают участники теста - это все описано в методологии его.

Тренд долгое время показывал очень средние результаты в этих тестах, а теперь отказался в них участвовать. В чем причина отказа я не знаю, вам видней.

Вот, что мне удалось выяснить в TrendLabs:

Некоторое время назад компания Trend Micro предоставляла PC-cillin для проведения тестов Клементи, но эти тесты не устраивали Trend Micro, так как коллекция "вредоносов" плохо поддерживается, в ней есть много неудачных образцов, например испорченные тела вирусов.

В конце прошлого года Андреас попросил подписать с ним контракт и выступить в качестве спонсора его работы для возможности участвовать. Компания Trend Micro отказалась и с тех пор не участвует в этих тестах.

Вообще-то нет реального выигрыша от участия в его тестах. У него не лучшая коллекция и от него лаборатории TrendLabs не получали недетектируемых образов ни на периодической основе, ни даже для опасных образцов.

Кроме этого, тесты av-comparatives.org не публикуются в прессе, а публика обращает больше внимания на награду VB100 и ICSA-сертификацию, но не на av-comparatives.org

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Понятно, логично поступили. Глупо спонсировать тест, в котором у тебя результаты не самые лучшие.

НО с другой стороны VB100% сейчас получают практически все, смысл этого теста немного вырождается мне кажется

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
The test sets were aligned to the February 2005 WildList, with a product submission deadline of 3 May 2005. This time lag should have been enough for all but the most tardy developers to catch up with detection, thus high detection rates were expected.

Вот кстати эта фраза напрямую свидетельствует, что VB дает участиникам 2 месяца форы на доведение детекта по коллекции ITW, к которой, так к слову, у вендоров есть доступ, до ума довести.

А то я помню headache, все в этом сомневался.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Понятно, логично поступили. Глупо спонсировать тест, в котором у тебя результаты не самые лучшие.

Мне кажется, что вы в ответе увидели то, что хотели увидеть. Спонсировать тест, где у тебя лучшие результаты, тоже сомнительно. Главная причина в двух пунктах

1. Плохая коллекция

2. Клементи не делится ей с участниками

От сюда можно сделать вывод, что кто-то присылает Клементи много всякой мути, а он не проверяя добавляет ее к своми 400000 образцам. После этого, это "кто-то" получает высокий результат, а у конкурентов нет шансов улучшить свои показатели.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вообще после всего обсуждения я понял лишь одно:

- Пользователю нет никакой пользы от этих тестов, т.к. в одном случае компании не участвуют, а в другом все получают плюсы ...

Разве что можно провести такой тест. Накопить вредоносов (не много), которые не детектит какой-то из антивирусных вендоров и официально заслать их им. и Замерить время реакции ...

Но это слишком сложно сделать, да и сам тест сомнительный, так наиболее вредоносные вредоносы (извините за каламбур) добавляются вендорами быстро, а менее - медленнее ...

Да и вообще, я лично стал большим скептиком в отношении тестов на коллекциях вирусов. Скажу больше - я им не верю.

Самые, на мой взгляд, адекватные тесты (сравнения):

- на имеемую в настоящий момент функциональность;

- на время реакции компаний.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Самые, на мой взгляд, адекватные тесты (сравнения):

- на имеемую в настоящий момент функциональность;

- на время реакции компаний.

Вот и-мен-но! =)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Понятно, логично поступили. Глупо спонсировать тест, в котором у тебя результаты не самые лучшие.

Мне кажется, что вы в ответе увидели то, что хотели увидеть. Спонсировать тест, где у тебя лучшие результаты, тоже сомнительно. Главная причина в двух пунктах

1. Плохая коллекция

2. Клементи не делится ей с участниками

От сюда можно сделать вывод, что кто-то присылает Клементи много всякой мути, а он не проверяя добавляет ее к своми 400000 образцам. После этого, это "кто-то" получает высокий результат, а у конкурентов нет шансов улучшить свои показатели.

Михаил, меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ITW список это список http://www.wildlist.org/WildList/

VB берет лист опубликованный за несколько месяцев до теста.

Это строчки из июньского теста прошлого года

The test sets were aligned to the February 2005 WildList, with a product submission deadline of 3 May 2005. This time lag should have been enough for all but the most tardy developers to catch up with detection, thus high detection rates were expected.

А то я помню headache, все в этом сомневался.

Я до сих пор сомневаюсь: а откуда вообще такая информация, что VB использует только WildList у себя в коллекции ITW? Ткните плз носом, т.к. у align несколько значений (см. второе):

http://thesaurus.reference.com/search?q=align&db=roget

Но даже если и только на WildList, то всё же (если быть совсем точным), это не тоже самое что и:

Если антивирус постигла неудача, об этом сообщается вендору и оно должен исправить все в течении месяца, после чего будет проведено повторное тестирование

Никаких повторных тестов нет - озвучен список вирусов, а вот сэмплы могут быть другие совсем (особенно это касается полиморфных вирусов - есть такие ведь в ITW).

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Никаких повторных тестов нет - озвучен список вирусов

Так в том то и дело, что не только список озвучен, у вендоров есть эта коллекции, причем они имеют два месяца, чтобы довести детект по ней до 100%, что все и делают. Когда подходит время теста, для большинства, кто эти два месяца не сидел сложа руки, это пустая формальность.

Касперский вообще заявлял с помню, что его ребятам достаточно этих пару месяцев, чтобы с нуля написать антивирус, которые получит VB100% :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Так в том то и дело, что не только список озвучен, у вендоров есть эта коллекции, причем они имеют два месяца, чтобы довести детект по ней до 100%, что все и делают.

Я ещё раз хочу спросить - а где сказано что

1) VB коллекция сэмплов взята у WildList?

2) VB коллекция содержит только сэмплы из списка WildList?

Вы видимо не совсем понимаете разницу между "коллекция построена на сэмплах вирусов из списка WildList" и "коллекция сэмплов WildList". Названия-то вирусов в обоих коллекциях могут быть одинаковые, а сами сэмплы могут быть разные - особенно это касается полиморфных вирусов, а они в ITW есть - например:

http://vil.nai.com/vil/content/v_99040.htm

Безусловно это не должно быть проблемой для вендора, но всё-таки это не совсем то, что описываете вы.

PS: Я ни в коей мере не защищая VB, своё отношение к их тестам я уже высказал, но я всё-таки за объективную информацию.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я ещё раз хочу спросить - а где сказано что

1) VB коллекция сэмплов взята у WildList?

Это сказано вот тут http://www.virusbtn.com/resources/wildlists/index.xml (для просмотра нужна регистрация на VB)

The WildList Organization collects monthly virus reports from anti-virus experts around the world. The data from the reports are compiled to produce The WildList - a list of those viruses currently spreading throughout a diverse user population. A virus that is reported by two or more of the WildList reporters will appear in the top-half of the list and is deemed to be 'In the Wild'.

In recent times, the list has been used by Virus Bulletin and other anti-virus product testers as the definitive guide to the viruses found in the real world.

An anti-virus product is expected to score 100% detection against this group of viruses.

2) VB коллекция содержит только сэмплы из списка WildList?

Вот тут написано, что тест проводится по коллекции ITW, больше там ни о чем речь не идет http://www.virusbtn.com/vb100/index

The VB 100% award was first introduced in 1998. In order to display the VB 100% logo, an anti-virus product must have demonstrated in our tests that:

* It detects all In the Wild viruses during both on-demand and on-access scanning.

* It generates no false positives when scanning a set of clean files.

На той же странице в конце вот такой дисклеймер приводится:

меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

Они продвигают свой HouseCall, он-лайн сканер, а эти проекты вероятно этому мешают. Потом по детекту Trend Micro никогда не был чемпионов, зачем это демонстрироваться лишний раз? :wink:

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Они продвигают свой HouseCall, он-лайн сканер, а эти проекты вероятно этому мешают.

Хм...а каким образом это может им мешать?

Потом по детекту Trend Micro никогда не был чемпионов, зачем это демонстрироваться лишний раз? :wink:

Не исключаю, что это одна из возможных причин.

И все-таки хотелось получить информацию из "первых рук".

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
headache писал(а):

1) VB коллекция сэмплов взята у WildList?

The WildList Organization collects monthly virus reports from anti-virus experts around the world. The data from the reports are compiled to produce The WildList - a list of those viruses currently spreading throughout a diverse user population. A virus that is reported by two or more of the WildList reporters will appear in the top-half of the list and is deemed to be 'In the Wild'.

In recent times, the list has been used by Virus Bulletin and other anti-virus product testers as the definitive guide to the viruses found in the real world.

По-моему вы видите то, что хотите увидеть, а не то что написано:

"a list of those viruses" != "a collection of viruses samples" ("a list of those viruses samples").

Вот тут написано, что тест проводится по коллекции ITW, больше там ни о чем речь не идет

Вы уверены? А вот это:

* It generates no false positives when scanning a set of clean files.

Или этот набор файлов они тоже выдают вендорам?

Добавлено спустя 1 минуту 56 секунд:

PS: ну хоть disclaimer у них честный

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
По-моему вы видите то, что хотите увидеть, а не то что написано:

"a list of those viruses" != "a collection of viruses samples" ("a list of those viruses samples").

Разве это меняет суть вопроса? Речи о каких-то других базах кроме ITW у них не идет. Если есть сомнения, предлагаю попробовать найти опровержение :wink:

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил, меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

Эти сайты простейший способ для вирусописателя выяснить, что его новое детеще не детктируестя пока никем.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Михаил Кондрашин

ну согласитесь

простейший способ

и как следствие неважный аргумент :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Разве это меняет суть вопроса?

Несколько да. Hint: полиморфики, "поврежденные" заражения.

Эти сайты простейший способ для вирусописателя выяснить, что его новое детеще не детктируестя пока никем.

Это вообщем-то смешной аргумент, такая возможность есть на сайтах почти всех ведущих производителей. Не говоря уж о том, что достать сканеры ведущих производителей и ключи к ним для вирусописателей не самая сложная задача.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Михаил, меня всегда интересовал вопрос, почему Trend Micro не участвует в таких проектах как virustotal.com и virusscan.jotti.org?

Эти сайты простейший способ для вирусописателя выяснить, что его новое детеще не детктируестя пока никем.

Михаил, а разве нельзя эту информацию получить на официальных сайтах вендоров?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти

Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • По информации американской телекомпании CNN, у российских банков, счета которых находились в Центробанке, хакеры похитили 2 миллиарда рублей. В ЦБ эту информацию подтвердили. Читать далее
    • В данной статье рассматривается платформа JaCarta, поддерживающая технологии электронной подписи и строгой аутентификации, приводится краткий обзор продуктов и описание принципов их работы. Читать далее
    • santy Как по мне, так разница тотальная.
      Одно дело мониторинг по умолчанию - ( как функция ) другое дело, мониторинг по требованию.
      Не нужен - не делай настройку и не используй. Не раз уже такие случаи в истории были: появляется новый вирус\червь и начинает прыгать по сети.
      А в базе антивируса он может появиться на следующий день, или ещё позже.
      А может система безопасности не предполагает наличие антивируса.
      А так: выявили > прикончили и для профилактики включили проверку машины через задачу.    
    • И хорошо, что этого нет, поскольку uVS не предназначен для мониторинга.
    • Vitokhv На данный момент это возможно только в альтернативно реальности Варкрафт.
      И там это работает так: Оператор добавляет сигнатуру вируса в базу > Проверяет список, при необходимости корректирует длину сигнатуру
      Настраивает австоскрипт: settings.ini  ( как реагировать на угрозу и метод удаления )
      Далее...
      Оператор добавляет uVS \ start.exe в автозапуск системы.
      При старте uVS автоматически определяет  тип своего запуска ( например start.exe через задачу )
      Далее работает настройка по settings.ini  ( при запуске через task проверять список по базе вирусов и критериев )
      После чего работает ранее настроенный австоскрипт: settings.ini  ( реакция  на угрозу и метод удаления )
      Вирус/Adware удаляется - копия угрозы помещается в карантин.
      Информация об угрозе пишется в лог. ( + копия лога пересылается на указанный в настройке адрес ) ------ А в нашем мире этого ничего нет.