Мини-тест: Иной взгляд на проактивность

[Dexter 20]

Симантек и Тренд в домохозяйствах используются менее часто, чем КАВ, Нод, Панда, ДрВеб и Авира.

Ну это не повод их выкидывать, что, к счастью, и подтвердил Сергей.

с некоторых корп. шлюзов.

Здесь тоже вопрос.

Чем прикрыты эти шлюзы и отсылались ли одминами недектируемые образцы?

[AlexxSun 150]

Даже по результатам тестирования на тех образцах, которые мне доступны, можно сказать, что Виталий зря слишком сильно настаивает на включение OSS в тестирование, если он имеет отношение к созданию этого продукта, то у него будет лишний повод для расстройства.

Мне же этот результат интересен для статистики, ничего более...

OSS ставить себе на компьютер пока не собираюсь

[Виталий Я. 859]

Мне как физику по образованию всегда было интересно, чем отличается умение интерпретировать результаты исследований от умения просто свое мнение выражать. Да, мы все утверждаем то, что нам кажется интуитивно верным. 8)

Сергей Ильин, как ни странно, до сих пор ни разу (с мая 2007, что ли) не предоставил ни единого подтверждения собственным выводам о качестве нынешнего сканирующего AV-движка VB и OSS соотв-но (все отсылки были на год 2005, когда качественная картина отрасли была совершенно иной).

Да, как явно не "антивирусный" вендор, Агнитум не настаивает на головокружительном качестве сигнатурной детекции вирусов лишь одной частью своего движка anti-malware, однако при сравнении по суммарной эффективности защиты, учитывая проактивные компоненты и host protection комплекса - цифры на стол, пожалуйста.

[Иван 290]

Сергей Ильин, я сейчас обнаружил, что у меня на виртуалке OSS2008 с базами от 14го октября, скажите а вы каким числом числом базы замораживали?

[Сергей Ильин 1538]

Сергей Ильин, я сейчас обнаружил, что у меня на виртуалке OSS2008 с базами от 14го октября, скажите а вы каким числом числом базы замораживали?

Замораживал 12-го числа, тест проводил 19-го числа с базами за этот день включительно.

[AlexxSun 150]

Сергей Ильин, я сейчас обнаружил, что у меня на виртуалке OSS2008 с базами от 14го октября, скажите а вы каким числом числом базы замораживали?

Это как раз дата выпуска дистрибутива с программой. Наверно хотите проверить коллекцией Сергея?

[Сергей Ильин 1538]

Иван, может быть чтобы удовлетворить Виталий Я. прогоните его по архиву малвар? Я скину в личку сцылу на мегаархив ...

[Иван 290]

Виталий Я. я вынужден Вас огорчить

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

OSS2008 - 628 -56% - 44%

При этом у OSS было 2 дня форы, базы его не от 12го как у всех, а аж от 14го

Виталий Я., вы довольны результатами Вирусбастера?

Сергей Ильин можете включать результаты наряду с симантеком в вашу диаграмму.

Я взял результат 628=541+87, что такое 633 я не очень понимаю, но даже если взять 633 ситуацию это никак не поменяет

Добавлено спустя 4 минуты 30 секунд:

Dexter про многовато у AVG,

Сергей их коммерческий продукт а не бесплатный тестировал, там в отличие от бесплатного включен еще Evido engine, с ним они сильно покруче чем без него, проверял

[Сергей Ильин 1538]

Как и обещал выкладываю данные по общему детекту всех протестированных антивирусов.

Сортировка по лучшему уровню детекта.

Детект / Детект (%) / Нет детекта

Kaspersky - 983 - 88% - 12%

Avira - 873 - 78% - 22%

BitDefender - 853 - 76% - 24%

AVG - 816 - 73% 27%

DrWeb - 788 - 70% - 30%

Sophos - 786 - 70% - 30%

Avast - 769 - 69% - 31%

Eset - 744 - 66% - 34%

McAfee - 743 - 66% - 34%

VBA32 - 691 - 62% - 38%

F-Secure - 635 - 57% - 43%

Panda - 619 - 55% - 45%

Symantec - 593 - 53% - 47%

Trend Micro - 540 - 48% - 52%

CA - 445 - 40% - 60%

Добавлено спустя 1 минуту 24 секунды:

OSS2008 - 628 -56% - 44%

Четверное место с конца, неплохо. Удалось опередить таких грандов, как Symantec, Trend Micro и даже CA!

[Виталий Я. 859]

Если быть дотошным, то это 5ое место с конца. 44 < 45, обход решений 4-х вендоров, включая Панду. При учете того, что тестировался, как я подчеркивал, продукт, не ориентированный на сигнатурную детекцию.

Сергей, ссылочку на подборку не скинете?

[Dexter 20]

Сергей Ильин

А может стоит прогонять и с настройками по умолчанию и с максимальными?

1000 файлов вроде недолго.

[Иван 290]

Сергей Ильин, как ни странно, до сих пор ни разу (с мая 2007, что ли) не предоставил ни единого подтверждения собственным выводам о качестве нынешнего сканирующего AV-движка VB и OSS соотв-но (все отсылки были на год 2005, когда качественная картина отрасли была совершенно иной).

данные за август 2007 года, AV-Test.org

http://www.pcwelt.de/start/software_os/sic...eit/news/91438/

№ Product Total

1 AVK 2007 99,88%

2 WebWasher * 99,86%

3 BitDefender 99,51%

4 AntiVir 99,29%

5 Kaspersky 98,86%

6 F-Secure 97,93%

7 Avast! 96,99%

8 AVG 96,81%

9 Symantec 96,75%

10 Microsoft 96,42%

11 Ikarus 95,92%

12 Sophos 94,63%

13 Nod32 94,26%

14 Fortinet * 94,20%

15 McAfee 93,71%

16 Dr Web 92,48%

17 Rising 90,43%

18 Panda 90,15%

19 Trend Micro 88,85%

20 VBA32 88,59%

21 F-Prot 87,03%

22 Norman 86,05%

23 Command 82,57%

24 VirusBuster 80,49%

25 QuickHeal 79,02%

26 ClamAV 78,66%

27 eTrust-VET 78,25%

28 Ewido 74,91%

29 eSafe * 73,61%

Да, как явно не "антивирусный" вендор, Агнитум не настаивает на головокружительном качестве сигнатурной детекции вирусов лишь одной частью своего движка anti-malware, однако при сравнении по суммарной эффективности защиты, учитывая проактивные компоненты и host protection комплекса - цифры на стол, пожалуйста.

вот уже пошли на попятную малек, мол может у нас вирусбастер и средненький, зато у нас поведенчекий блокиратор имеется

так ведь не только у вас, но и касперского, и у панды они имеются.

Но сами понимаете что это уже немного другое, это блокировка малваре при ее запуске. Кроме того требование цифр по качеству поведенческих технологий как вы надеюсь прекрасно в душе осознаете не уместно несколько, поскольку провести масштабный тест запуская каждую малваре и следя за рекацией хипса задача очень трудоемкая.

но как мне Сергей сказал - он все же планирует более масштабный тест, в ходе которого выберет рандомайзом несколько десятков зловредов не берущихся при сканировании и позапускает их глядя как хипсы реагируют. Так что кой какие цифры вы все же получите.

[A. 876]

по финам мне результаты не очень нравятся

[MiStr 5]

В последнем графике опечатка: "Нет найдено".

[TANUKI 240]

Порадовал результат касперского. НОД неприятно удивил в который раз. Удивил и Аваст, учитывая, что по детекту свежака он очень отстает в последнее время

[Виталий Я. 859]

Иван, Ваша аргументация всегда была не голословна, и это радует.

Однако "пузомерка" в количественном отношении по одному из параметров не означает замера качества в целом: "On this site you will find independent comparatives of Anti-Virus software. All products listed in our comparatives are already a selection of some very good anti-virus products. In order to get tested by us, companies must fulfill various conditions and minimum requirements." (с) Av-comparatives.org

При наличии современных угроз со стороны spyware и zero-day malware меряться сигнатурами антивирусных компонент (да, я говорю про комплексные решения!) по-прежнему очень странно. Outpost Security Suite - не классический антивирус, это ежу понятно, ноги не оттуда растут - а от детекции spyware и мощной фаервольной основы, "уши" которой торчат во многих ныне хорошо известных на рынке комплексных продуктах с антивирусной базой.

И вопрос к администратору сайта - доколе избирательно подстраиваться под вкусы приверженцев сигнатурных методов?

Неужели надо отрезать все самое существенное и "меряться" архиважным уровнем детекции по произвольно сформированной подборке? За что ж вы VirusBulletin хаете (не все и не всегда - но линки в студию будут позже), дорогая команда сайта, если у них такая же подборка по 1000 "свежачков" присутствует?

PS: Кстати, я пока не дождался ссылки на архив malware от Сергея Ильина. Тестирование это хотелось бы повторить, используя уже свежий билд с той же базой. Воспроизвести условия, имхо, для сигнатурной проверки при "замороженной" базе это вполне реально.

[Dexter 20]

За что ж вы VirusBulletin хаете (не все и не всегда - но линки в студию будут позже), дорогая команда сайта, если у них такая же подборка по 1000 "свежачков" присутствует?

Ну здесь все-таки скорее тест на скорость реакции с учетом всяких эвристик и, как я вижу, его смысл именно в регулярности для уменьшения стат. разбросов.

Но при этом способ сбора самплов, конечно, критичен и неоднозначен.

[Иван 290]

Виталий Я.

давайте по пунктам

Однако "пузомерка" в количественном отношении по одному из параметров не означает замера качества в целом

во-первых, вы Виталий Я. сказали что не видели ни одного доказательства слабости движка вирусбастера - я вам его привел. НИкто при этом не принижал возможностей вашего хипса. Тестировать надо все параметры защиты, у AV-Test протестирован один из них.

во-вторых, вы совершенно правильно заметили, что в нынешних условиях важно чтобы все элементы защиты от вредоносов присутсвовали в продукте и были при этом на хорошем уровне.

пока мы видим что сигнатурный и эвристический механизмы в OSS средние, при этом неплохой хипс. Т.е. их трех хорош (по непроверенным данным) только один компонент. Говорить что этого одного компонента (хипса) достаточно - ну я бы на вашем месте не рискнул.

в-третьих, как я уже говорил не вы одни на рынке сделали продукт с хипсом я лично приверженец именно такого продукта

И вопрос к администратору сайта - доколе избирательно подстраиваться под вкусы приверженцев сигнатурных методов?

во-первых, эвристик столь же проактивный метод сколь и хипс и при этом и тот и другой метод имеют свои недостатки

во-вторых, Сергей Ильин, я лично готов вам помочь позапускать зловредов чтоб на выборочном кол-ве самплов проверить красоту хипса OSS

Неужели надо отрезать все самое существенное и "меряться" архиважным уровнем детекции по произвольно сформированной подборке? За что ж вы VirusBulletin хаете (не все и не всегда - но линки в студию будут позже), дорогая команда сайта, если у них такая же подборка по 1000 "свежачков" присутствует?

в отличие от VB100% это не примитивный тест на детект, а тест с заморозкой баз как правильно заметил Dexter

PS: Кстати, я пока не дождался ссылки на архив malware от Сергея Ильина. Тестирование это хотелось бы повторить, используя уже свежий билд с той же базой.

а зачем это интересно повторять тестирование с новым билдом на той же базе? Ни к чему эти глупости.

Вы выкатывайте новый билд, а Сергей наберет следующую недельную коллекцию самплов и все повториться вновь. А исправление ошибок в домашней работе нам тут ни к чему я думаю

А коллекцию он вам сорее всего просто не успел прислать, всеж пятница вечер.

Добавлено спустя 25 минут 50 секунд:

а больше всего меня поразило следующее

1.Сергей не включил в этот тест OSS специально, аргументируя это так:

Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

2. Виталий Янко был настойчив

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

а когда мы совместными усилиями протестировали таки OSS, Виталий вдруг спрашивает зачем мы тут сигнатурным детектом меряемся.

во-первых тест не только и не столько на сигнатурны детект, а во-вторых, вы же сами настояли чтоб OSS посмотрели

[Сергей Ильин 1538]

А может стоит прогонять и с настройками по умолчанию и с максимальными?

1000 файлов вроде недолго.

Рад бы, ды уже не получится Базы были в воскресенье обновлены, так как планировал сделать ряд недельных замеров. Так что теперт до следующего раза (уже не так долго ждать).

по финам мне результаты не очень нравятся

Мне тоже, я до сих не могу понять, почему? возможно какая-то ошибка с обновлениями прошла ... перепроверю его результаты.

во-вторых, вы совершенно правильно заметили, что в нынешних условиях важно чтобы все элементы защиты от вредоносов присутсвовали в продукте и были при этом на хорошем уровне.

пока мы видим что сигнатурный и эвристический механизмы в OSS средние, при этом неплохой хипс. Т.е. их трех хорош (по непроверенным данным) только один компонент. Говорить что этого одного компонента (хипса) достаточно - ну я бы на вашем месте не рискнул.

Полностью согласен. Виталий, не зная возможностей движка ВирусБастер пытался тут без основательно что-то доказать. Оказалось, что эта составляющая продукта не так хороша, как ему бы хотелось, вот и все.

И нечего в этой теме мериться хипсами, тут речь о другом. И спрашивали именно о сигнатурном детекте ОСС.

[AlexxSun 150]

Я читал что у ведущих производителей принято делиться "уловом" зловредов за неделю, очень интересно, а компания Агнитум сотрудничает в этой области с кем-либо? Или вот так на форумах сотрудники компании выпрашивают образцы и семплы вредоносного ПО ?

[A. 876]

Я читал что у ведущих производителей принято делиться "уловом" зловредов за неделю, очень интересно, а компания Агнитум сотрудничает в этой области с кем-либо? Или вот так на форумах сотрудники компании выпрашивают образцы и семплы вредоносного ПО ?

компания Агнитум не является антивирусной компаний и анализомдетектированием вирусов не занимается. за них это делает вирусбастер. так что никакого смысла в обмене с ними я не вижу. а вот с вирусбастером обмен идет.

[AlexxSun 150]

Странно, я тоже после выхода русского релиза OSS 15 октября пробовал тестировать на своей небольшой коллекции, так этот антивирус не детектировал вредные файлы, которые появились в начале сентября. Напомню, что релиз английской версии программы состоялся:

Release date: October 24, 2007

Version: 2008 (6.0.2162.205.402.266)

Size, MB: 40,1

Добавлено спустя 4 минуты 5 секунд:

И ещё:

компания Агнитум не является антивирусной компаний и анализомдетектированием вирусов не занимается

но чуть ранее читаем:

Виталий Я.

Сергей, ссылочку на подборку не скинете?

Значит анализомдетектированием думают заниматся?

[Виталий Я. 859]

Стоп, машина. Я не являюсь официальным представителем компании А. на этом форуме. Поэтому мои просьбы к администратору сайта обосновать его "пальбу в небо" - это личный интерес.

Я понимаю, что из-за скромности наших представителей на русских форумах любое появление сотрудников А. - как манна небесная, позволяющая вспомнить случавшиеся блокировки сети

Но тут была попытка конструктивного диалога с автором эксперимента, на вопросы которому отвечал кто угодно, кроме него самого. Естественно, у Сергея Ильина подборка просится ради проверки чистоты эксперимента. Проверить ее могут наши malware-аналитики. Они в компании еще со времен выпуска Tauscan имеются. Что, даже в ЛК этого не знают? :shock:

[AlexxSun 150]

Даже в ЛК этого не знают?

А причём тут ЛК? Если я внимательно прочитал эту тему, то ни один из официальных представителей ЛК в этой теме не отметился.

Виталий, если вы хотите сделать свой продукт лучше, то информацию о тестах примете к сведению и проинформируете тех, кто заинтересован в улучшении программы. И это вне зависимости от того, являетесь вы официальным представителем или нет.

Это тестирование и проводилось с целью обратить внимание производителей на существующие проблемы, а не с целью выругаться в адрес отстающих.

Я лично почти два года использовал связку Outpost + KAV на Win XP SP2 и отказался только из-за несовместимости Outpost'a с моей RAM. Так что меня точно нельзя назвать противником компании Агнитум

[A. 876]

А причём тут ЛК? Если я внимательно прочитал эту тему, то ни один из официальных представителей ЛК в этой теме не отметился.

я представитель. правда не официальный. ну как не официальный .. так же как и Виталий Я.