Какие антивирусные тесты бывают и можно ли им доверять?

[Latin 5]

Уважаемы эксперты и просто знающие люди.

Поделитесь, пожалуйста, вашими вашим мнением по поводу тестов защитного софта вообще и антивирусов в частности которые наиболее распространены в Сети и на которые зачастую ссылаются при разговорах о достоинствах и недостатках программ этого типа.

Я уже спрашивал Сергея по этому поводу, но он, к сожалению, не ответил.

Почему некоторые тесты "фуфло", а некоторые "кул" и почему если какой-нибудь тест ни чего не значит, но производители регулярно участвуют в нем.

Как вообще понять хороший тест (методика) или нет. Например, вот здесь, на anti-malware, с тестами все более-менее понятно. Понятна методика, она обсуждается, понятны результаты, они логично вытекают из обсуждаемой методики.

А как с другими? Почему все же VB100 это не тест, а другие приводимые здесь это тесты?

Почему это спрашиваю? Мне интересно и важно понять, и я полагаюсь на ваше мнение, т.к. здесь, в основном, люди знающие предмет и увлечённые своим делом.

Спасибо за ваши разъяснения.[/url]

[Иван 290]

на мой взгляд всем тестам свойствены свои недостатки

почему для меня VB100 это не тест - потому что тест на общий детект если уж прводится, то должен прводиться на больших коллекциях - зловредов нынче появляется сильно дофига и тест на общий детект на небольшой (несколько тысяч зловредов) коллекции WildList (а именно на этой коллекции проводится этот тест VB100%) не может считаться объективным показателем качества антивируса.

Ладно бы коллекция эта действительно была бы коллекцией наиболее распространенных в сети зловредов - так ведь это на самом деле не так - эти зловреды репортятся "'экспертами", которых все меньше и меньше, репортят они все реже и реже. Подробнее здесь http://www.av-test.org/down/papers/2007-09...07_wildlist.zip

В итоге что получается продукт не получает значка VB100% если он не детектит хотя бы один вирус из некой коллекции, которая не очень понятно почему считается вдруг эталонной, хотя на самом деле давно таковой не является. Такая ситуация несколько странна, согласитесь.

Теперь к вопросу о том, почему вендоры даже понимая фиговость теста VB100% в нем участвуют? Потому что этот тест раскручен и распиарен. И до тех пор пока будут находится идиоты прописывающее в тендерах обязательным пунктом на грады VB100% на определенных платформах - до тех пор будут антивирусные вендоры в этом тесте участвовать. Легче участвовать возможно не всегда с положительным итогом, чем потом объяснятся почему не участвовали, ежу это пнятно. И кончится это может лишь когда найдется группа вендоров, которая пошлет VB100% на три буквы и прекратит тесты. Но вряд ли это случится, больно стремно - не дай бог камнями закидают. В этом плане я уважительно очень отношусь к Панде, которая в этом идиотизме не участвует и при этом прекрсно себе является пятой по величине антивирусной компанией в мире.

Впрочем у тестов VB100% есть все таки положительный момент - они (как и любые тесты) указывают вендорам на существующие у них огрехи и те их исправляют. Но критерием эффективности антивиря тесты VB100% служить не могут: все антивирусы к сожалению пропускают вирье, только почему-то с точки зрения VB пропуск вирья из очень небольшой коллекции WildList используемой VB означает неэффективность антивиря, а пропуск вирья не из этой коллекции ничего не означается. Посыл сомнительный...

Поэтому если уж прводить тесты на общий детект, то проводить их на больших коллекциях, как это делают AV-Test и AV-Comparatives и давать в качестве оценки антивиря не странный значек, а либо голую цифру детекта либо градацию по уровнямЮ как AV-Comparatives. Другой вопрос, что в таких больших коллекциях сложно отследить работоспособность зловредов, но мне все же понятней такой тест, чем тест VB100%. Более вменяемыми при этом считаю тесты AV-Test http://www.antimalware.ru/phpbb/viewtopic....f01f47a126ad415 поскольку Андреас Маркс обладает более обширной тестовой лабораторией, чем его тезка Клементи, при этом говорит о том, что в его коллекции только зловреды собранные за полгода до теста и что он и его коллеги проверяют зловреды на работоспособность.

Теперь ретроспективный тест AV-Comparatives http://www.antimalware.ru/phpbb/viewtopic....8967728cb967288. Тест вроде бы логичный - замораживаем базы, и сканируем вирье лежащее на диске, вирье берем тольок то, которое пришло к нам после даты заморозки баз. Таким образом определяется эффективность комбинации двух вещей: эвристик+дженерик сигнатуры. Вроде бы все здорово, но есть однако заковыка - нет никакой уверенности что зловреды в коллекции исследователя действительно были созданы после даты заморозки баз. К исследователю они да попали после даты заморозки баз, но это вовсе не значит что они до этого уже несколько месяцев не гуляли по сети. В итоге какой-то процент детекта это вовсе не проактивный детект, а обычный сигнатруный. Нет чистоты экспермента.

Кроме того в ходе таких тестов не фига не проверятся другая проактивная технология - поведенческий блокиратор, который вступает в дело уже после запуска зловреда на компьютере.

Тем не менее такие тесты если их результаты рассматривать в комбинации с результатми других тестов считаю полезными

Что же касается тестов проводимых здесь: лечение активного заражения, антируткитовые возможности, детект упаковщиков - они прежде всего интересны тем, что затрагивают реально важные для пользователя стороны работы антивиря и при этом достаточно уникальны - мало кто их проводит. У этих тестов тоже много недостатков, в частности недостаток их в том, что выбор зловредов для проведения исследования зависит от автора теста. Вот решил vaber, что по его экспертному мнению именно эти руткиты самые опасные характерные и распространенные и взял их для теста. А другие не взял, сказав при этом на других руткитах будет все тоже самое, посколько мом руткиты отражают общую картину. Действительно ли правилен его выбор? А бог его знает - остается довериться эксперту. Минус ли такое положение вещей для теста - да минус. Но минус полезности таких тестов не отрицающий - я ясно вижу, что может быть при другом выборе объектов исследования места на пьедестале почета распределились бы немного иначе, но состав призеров бы все тот же.

Тесты Сommtouch http://www.antimalware.ru/phpbb/viewtopic....1e482cb853da60a на скорость реакции на почтовые ITW зловреды. Очень интересный на мой взгляд тест. Но его результаты не бьются с результатами ряда других тестов. Этому есть логичные объяснения, а есть объяснение - что какой-то глюк у них там с определением времени реакции...к какому объяснению склониться каждый решает сам.

Уф что-то много написал, при этом это только моё личное мнение, возможно спорное.

Как итог считаю, что перечисленные мной тесты показывают возможности антивруса с различных сторон и я бы оценивал антивирус используя некую интегральную оценку по всем тестам, с какими весами брать значимость каждого теста пусть каждый решает для себя.

Лично я однозначно ставлю вес 0 только одному тесту - тесту VB100%

[Dr.Golova 55]

Ога, а еще методология некоторых "всемирно известных" тестов весьма сомнительна, например VB тестируя on-access сканер файлы не запускает, а банально копируют из одной папки в другую - т.е. все что скопировалось - то пропуски. В результате они тестят просто облегченный вариант файлового сканера, а то что есть еще проактивка и веб-ав их не волнует, хотя эта связка берет 99% из их набора даже без сигнатур.

[Valery Ledovskoy 1082]

Иван, Вы здорово написали. За исключением нескольких незначительных мест, согласен с Вами.

[Umnik 997]

Иван

Дааа... Вот это изложение мысли! Выделить в отдельный топик и назвать "Это должен знать каждый".

[Сергей Ильин 1538]

Я уже спрашивал Сергея по этому поводу, но он, к сожалению, не ответил.

Я не ответил, потому как для той темы это был чистый офтоп. :wink:

Считаю заслуживающими доверие следующие тесты антивирусов:

1. AV-Comparatives.org (Андреас Клименти): тесты на общий и проактивный детект.

2. AV-Test.org (Андреас Маркс): тесты на общий детект, скорость реакции на новые угрозы.

3. Virus.gr: тесты на общий детект.

4. С натягом тесты Commtouch (мне там по прежнему многое не ясно в плане методологии)

Незаслуживающими доверия тесты антивирусов считаю :

1. Virus Bulletin (VB100%)

2. Checkmark (Westcoast Labs)

3. ICSA Labs

Про первый Иван очень хорошо написал выше, я с его оценкой тестов Virus Bulletin и наград VB100% полностью согласен. От себя добавлю, что ребята сделали хороший бизнес из простеньких и морально устаревших тестов, играя на желании вендоров попиариться на значках VB100% и помериться их количеством. Так что сейчас мало кого волнует, что реально это за тест, главное - получить еще один значок!

Аналогичная ситуация по сути с сертификатами Checkmark и ICSA. Чтобы получить их продукты якобы проходят какие-то достаточно общие и примитивные тесты, которые лишь показывают, что продукт действительно можно считать антивирусом, не более того.

Еще один интересный момент. Я лично считаю, что интересны только те тесты, по результатам которых можно сделать какие-то сравнительные выводы о качестве продуктов, технологий, сервиса. По тестам Virus Bulletin, Checkmark или ICSA Labs ничего сказать о сравнении нельзя.

Вопросы о стоимость и условиям получения таких значков лучше даже и не обсуждать.

Есть еще тесты СМИ, их можно было бы тоже отнести к заслуживающим доверия, если бы не зачастую низкая квалификация автором сравнений/обзоров.

Добавлено спустя 2 минуты 16 секунд:

Тему немного переименовал. Надеюсь Latin как

топикстартер не будет против.

[Latin 5]

Иван

Огромное спасибо Доходчиво, познавательно, популярно о сложном. :cool: Все разложено по полочкам. Согласен с Umnik. Но все же, вы считаете, что и на antimalware есть еще куда совершенствоваться? В частности более понятного обоснованного объяснения выбора того или иного образца, а не только субъективное мнение специалиста проводящего тестирование.

Т.е. Dr.Golova, получается, что в версии VB происходит оценка именно простого сигнатурного детекта и для современных типов угроз этого не достаточно в оценке защитного ПО.

Кстати, Valery Ledovskoy, у вас были некоторые дополнения? Не могли бы вы их озвучить? Для более полной и всесторонней оценки вопроса.

Сергей Ильин

Я не ответил, потому как для той темы это был чистый офтоп. Wink

Да, вы правы. Оплошал.

Тему немного переименовал. Надеюсь Latin как

топикстартер не будет против.

Нет, нет. Так даже лучше.

А скажите, Сергей, из СМИ вы можете кого-нибудь выделить? То что Бурда-ЧИП не имеют тест-лаборатории разобрались. А какие имеют? И каков их уровень? Ведь, смотрите, зачастую пользователь ориентируется именно на печатные издания, а не интернет-ресурс anti-malware.ru, к сожалению .

Еще раз спасибо, я не ошибся, что смогу получить здесь квалифицированный ответ.

[Valery Ledovskoy 1082]

Кстати, Valery Ledovskoy, у вас были некоторые дополнения?

Дополнение у меня будет только одно. Даже тем тестам, у которых вроде бы на первый взгляд правильная методология и хорошая репутация, стоит доверять с большой осторожностью. Иногда попадаются результаты, которые противоречат всякой логике или объясняются факторами, которые не исследовались в тесте. Например, из-за выбора источника пополнения коллекции очень сильно зависят конечные результаты. Даже при правильной методике обработки результатов.

[Lemmit 31]

Как вообще понять хороший тест (методика) или нет. Например, вот здесь, на anti-malware, с тестами все более-менее понятно. Понятна методика, она обсуждается, понятны результаты, они логично вытекают из обсуждаемой методики.

Пользуясь случаем благодарю anti-malware за вменяемые разносторонние тесты на понятном языке!

Только вот ситуация меняется, вендоры стараются, выпускают новые версиии, базы. Соответственно, имеется просьба ряд тестов повторить, хотя бы раз в полгода, например, тот же тест более чем годовалой давности на поддержку упаковщиков.

[Сергей Ильин 1538]

А скажите, Сергей, из СМИ вы можете кого-нибудь выделить? То что Бурда-ЧИП не имеют тест-лаборатории разобрались. А какие имеют? И каков их уровень? Ведь, смотрите, зачастую пользователь ориентируется именно на печатные издания, а не интернет-ресурс anti-malware.ru, к сожалению Wink.

Из СМИ я бы выделил обзоры крупных изданий типа PC Magazine, PC World, CNet. Там хотя бы все аккуратно документировано и расписано, почему так и не по-другому. Потом такие крупные издания способны нанимать адекватных людей на подготовку сравнений (уж точно не за 200 руб. за тыс. знаков).

Я за качественные сравнения антивирусов в СМИ, подготовленные профессионалами. Кстати, наш опыт с ИД Компьютерра был в этом плане очень интересен, надеюсь, подобные материалы еще появятся.

[Ego1st 95]

пожалуй соглашусь со всеми участниками по поводу vb100%..

так же скажу что доверять стоит только себе..

я например доверяю с тестов только своему личному опыту, и ресурсам антималваре и вирус.инфо, мне этого хватает участников данных форумов я давно знаю поэтому и даверие к ним есть..

а как у других незнаю, я невижу как тесты их проводяться и написать на сайте можно все что угодно..

[dot_sent 140]

Считаю заслуживающими доверие следующие тесты антивирусов:

1. AV-Comparatives.org (Андреас Клименти): тесты на общий и проактивный детект.

2. AV-Test.org (Андреас Маркс): тесты на общий детект, скорость реакции на новые угрозы.

3. Virus.gr: тесты на общий детект.

4. С натягом тесты Commtouch (мне там по прежнему многое не ясно в плане методологии)

Незаслуживающими доверия тесты антивирусов считаю :

1. Virus Bulletin (VB100%)

2. Checkmark (Westcoast Labs)

3. ICSA Labs

Не согласен с Virus.gr. Одно только несовпадение результатов Dr.Web и VirusChaser - уже повод им не доверять (ИМХО).

[TANUKI 240]

К исследователю они да попали после даты заморозки баз, но это вовсе не значит что они до этого уже несколько месяцев не гуляли по сети.

А как это можно определить?

По-домашнему, например, можно взять зловреда, загнать на вирустотал, посмотреть его имя (ну, кто-нибудь-то видит его), загнать имя в гуглу - и посмотреть, когда он первый раз появился у кого-нить в базах ну, можно отминусовать пару недель до отлова. Вот так и получаем время рождения вируса

Большое спасибо за оценку тестов. Очень четко и понятно написано.

[Storm 0]

можно отминусовать пару недель

И еще пару недель, покак гугл проиндексирует страницу с жалобойописанием на него

[alexgr 556]

Не согласен с Virus.gr. Одно только несовпадение результатов Dr.Web и VirusChaser - уже повод им не доверять (ИМХО).

+1

есть еще ряд сомнений в подготовленности теста

[Сергей Ильин 1538]

Не согласен с Virus.gr. Одно только несовпадение результатов Dr.Web и VirusChaser - уже повод им не доверять (ИМХО).

Косяки у них есть, но в целом результаты теста коррелируют с аналогичными, поэтому я склонен больше доверять этому источнику, чем нет.

Добавлено спустя 2 минуты 17 секунд:

есть еще ряд сомнений в подготовленности теста

Расскажите, всем интересно их знать, я думаю. От многих слышал негатив по отношению к тестам virus.gr, но ничего конкретного не было.

[Иван 290]

К исследователю они да попали после даты заморозки баз, но это вовсе не значит что они до этого уже несколько месяцев не гуляли по сети.

А как это можно определить?

По-домашнему, например, можно взять зловреда, загнать на вирустотал, посмотреть его имя (ну, кто-нибудь-то видит его), загнать имя в гуглу - и посмотреть, когда он первый раз появился у кого-нить в базах ну, можно отминусовать пару недель до отлова. Вот так и получаем время рождения вируса

Большое спасибо за оценку тестов. Очень четко и понятно написано.

точно никак не определить насколько свеж вирус, но можно сократить вероятность получения несвежих вирусов. Не просто замораживать базы и брать все самплы полученные после даты заморозки, а отступить несколько недель от даты заморозки, подождать и брать на проверку только самплы, полученные после даты заморозки+несколько недель. Думается мне, что при такой методе мало кому из антиврусов удастся показать 70% обнаружения, как они это показывают в тесте Клементи. Проценты будут поскромнее и иллюзия того, что эвристический детект спасет мир немного развеется

[Виталий Я. 859]

Сергей Ильин

а как насчет верификации качества сэмплов из миллионных коллекций?

[Сергей Ильин 1538]

Виталий Я., самплы никто не верифицирует массово в тестах на общий детект и VB тоже, несмотря на то, что их коллекцию можно "прокликать" за пол дня.

[alexgr 556]

сергей, тут несколько соображений. Коллекция, представленная на Virus.gr всегда достаточно велика, но абсолютна непрозрачна. То есть - каково соотношение с ITW? Что внутри? Сколько там чего лежит? Расшифровки нет, получить ее мне не удалось

Второе - цифири он некие получает, а пропуски никак не комментируются и получить хотя бы детальный отчет нет возможности (мне не удалось). настройки антивирусов неизвестны при тесте на детект, да и условия не совсем ясны, особенно на ранних тестах. Последнее соображение - у достаточно неплохой коллекции весьма смутное происхождение

Вот такие основные соображения