Перейти к содержанию
Сергей Ильин

Результаты теста проактивной антивирусной защиты

Recommended Posts

Сергей Ильин

Уважаемые коллеги!

Предлагаю вашему вниманию результаты теста проактивной антивирусной защиты, а конкретнее - эвристических компонент антивирусов. Этот тест оказался самым длительным по времени и самым трудозатратным, из тех, что я делал ранее. Почему так, получилось, я уверен, вы поймете ознакомившись с результами теста.

http://www.anti-malware.ru/node/150

Убедительная просьба внимательно ознакомить с методологией тестирования

http://www.anti-malware.ru/node/148

Краткие результаты теста:

Gold Proactive Protection Award

proactive_gold_sm.gif

Avira AntiVir Personal Edition Premium 7.0 (71%)

BitDefender Antivirus 2008 (65%)

Silver Proactive Protection Award

proactive_silver_sm.gif

Eset Nod32 Anti-Virus 3.0 (59%)

Dr.Web 4.44 (57%)

Sophos Anti-Virus 7.0 (56%)

Avast! Professional Edition 4.7 (52%)

VBA32 Antivirus 3.12 (48%)

Kaspersky Anti-Virus 7.0 (45%)

McAfee VirusScan Plus 2008 (43%)

Bronze Proactive Protection Award

proactive_bronze_sm.gif

Symantec Anti-Virus 2008 (38%)

AVG Anti-Virus Professional Edition 7.5 (37%)

F-Secure Anti-Virus 2008 (36%)

Trend Micro Antivirus plus Antispyware 2008 (30%)

Тест провален

Agnitum Outpost Security Suite 2008 (12%)

p1.gif

Абсолютным лидером по эффективности эвристического компонента защиты является Avira AntiVir Personal Edition Premium, чей уровень детектирования неизвестных вредоносных программ оказался очень высоким – 71%.

Также очень эффективной оказалась эвристика в BitDefender Antivirus, который обнаружил 65% неизвестных вредоносных программ. Оба продукта, согласно используемой схеме награждения, получили награду Gold Proactive Protection Award.

***************************************************

Ну и на сладкое в виде бонуса вот такие результаты получились, если обновить базы и прогнать по коллекции свежачка все тестируемые антивирусы

Качество обнаружения новых вирусов, вклад различных компонет

p4.gif

Влияние различных компонент антивирусной защиты на общий уровень обнаружения вредоносных программ

p3.gif

grafik1.gif

В итоге лучшими по обнаружение новых вредоносных программ оказались F-Secure Anti-Virus (98%), Kaspersky Anti-Virus (93%), BitDefender Antivirus (86%) и AVG Anti-Virus (86%).

***************************************************

Жду ваших комментариев :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Agnitum OSS не оправдал надежд =)

А в целом ощущения как после теста Клементи: общий уровень проактивного детекта явно увеличился. Либо сэмплы стали стандартнее и проще, либо технологии стали умнее. Радует =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну что сказать..вроде бы по сути тот же ретроспективный тест, что и клементи...а добавлены очень правильные вещи

во-первых, правильно что сделали отступ в две недели между заморозкой антивирусных баз и началом сбора вредоносных программ.

во-вторых, добавка результатов сканирования с уже обновленными базами просто офигительно добавила очков тесту, от разукрашеной картинки я просто писал кипятком. Глядя на диаграмму по общему уровню обнаружения сразу становится понятно, что проактив важен, но тот кто забывает о работе вирлаба над сигнатурным детектом -по общему итогу проигрывает.

кстати эти идеи я видел в презентации Andrew Lee из Есета http://www.slideshare.net/frisksoftware/te...ctions/download, которую он на International Antivirus Testing Workshop прочел. Молодец Сергей Ильин грамотно воплотил в жизнь.

В минус же тесту

- то, что не проверялись фолсы.

- при ретроспективном тесте проверяется качество не чистого эаристика, а проверяется сочетание эвристик+дженерики. Про это я не увидел где сказано. Чистым эвристиком тот же Симантек взял бы еще меньше небось.

-у Клементи сказаны простым языком очень правильные слова для простых пользователей на тему того почему важно ловить вирье проактивно с одной стороны и но с другой стороны, что этот тест показывает эффективность только лишь одного компонента антивируса и по его результатм нельзя судить об общем качестве антивируса. Я думаю многим простым юзерам для лучшего понимания результатов будет не хватать этих слов в вашем тексте. Надеюсь пресрелиз по тесту будет написан чуть менее "продвинутым" языком.

Что касается самих результатов, то я в принципе не удивлен. Разве что то, что Трендмайкро и Agnitum (Вирусбастер) практически ничего не добавили в базы сигнатур за такой длинный период вызвало у меня неприятный осадок по поводу их вирлабов и скорости добавления.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

в отчете, во второй таблице, со статистикой по количеству самплов ошибка, имхо. вместо "Кол-во обнаруженных вирусов" наверное надо "Кол-во НЕ обнаруженных вирусов"...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Agnitum OSS не оправдал надежд =)

зато получил VB100% :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter

Чот меня напрягло.

Сравнение с клименти, наверное...

Или аваст посерединке...

Посмотрю на неделе...

P.S. Радует, что A. со своими гадостями и точностями появился. :)

P.P.S. Иван, с тыща первым постом...(заметил, блин)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Таблица ложных срабатываний была бы действительно к месту.

В целом тест добротный и интересный. Спасибо за проделанную работу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
P.P.S. Иван, с тыща первым постом...(заметил, блин)

черт, а я и не просек сразу

пасиба Dexter

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В минус же тесту

- то, что не проверялись фолсы.

- при ретроспективном тесте проверяется качество не чистого эаристика, а проверяется сочетание эвристик+дженерики. Про это я не увидел где сказано. Чистым эвристиком тот же Симантек взял бы еще меньше небось.

-у Клементи сказаны простым языком очень правильные слова для простых пользователей на тему того почему важно ловить вирье проактивно с одной стороны и но с другой стороны, что этот тест показывает эффективность только лишь одного компонента антивируса и по его результатм нельзя судить об общем качестве антивируса. Я думаю многим простым юзерам для лучшего понимания результатов будет не хватать этих слов в вашем тексте. Надеюсь пресрелиз по тесту будет написан чуть менее "продвинутым" языком.

Проверять ложные срабатывания - это отдельный большой тест и он совсем не простой, как может показаться на первый взгляд. Я писал ранее, что мешать все в кучу не хочу, в начале следующего года сделаем полноценный тест на ложняки, тогда можно будет сопоставить результаты.

По совету коллег здесь не стал заострять внимание на составных частях детекта, так как все понимают под той или иной технологией свое.

Текст для простых пользователей добавляю, это я упустил из виду.

в отчете, во второй таблице, со статистикой по количеству самплов ошибка, имхо. вместо "Кол-во обнаруженных вирусов" наверное надо "Кол-во НЕ обнаруженных вирусов"...

Да, это ошибка, сейчас поправлю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Сергей Ильин, поздравляю с окончанием этой сложной работы.

Тест получился очень качественный.

Результаты вполне можно использовать в работе.

Можно использовать для обучения начинающих пользователей, которые кроме VB ничего не видят. Можно в очередной раз показать, что антивирус - это сложное по устройству ПО, и что можно лишь стремиться объективно ранжировать антивирусные продукты по выбранному для тестирования параметру.

Думаю, этот тест сильно приблизил нас к объективности.

Но, думаю, Вы на этом не остановитесь, поэтому желаю удачи в проведении будущих тестирований.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Валерий, спасибо за поздравления и положительную оценку проделанной работы. На этом тесте была сделана попытка выйти на качественно новый уровень работы, надеюсь это получилось.

Предвкушая вопросы по Trend Micro: после обновления он взял всего +9 самплов к тому, что было найдено ранее, что составило менее 1% от размера общей коллекции.

proactive_trendmicro.jpg

post-4-1197194270.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

При всём моём уважении к вашему труду...

Вы пытаетесь оценить потенциальные возможности различных продуктов или как они реально защищают пользователей?

Если первое - то всё ОК, нарицаний нет.

А если второе, то надо тестировать антивирусы на настройках по умолчанию.

Выкручивание всех эвристик на максимум может привести не только к катастрофичному замедлению работы как антивируса, так и компьютера, но и к появлению огромного числа фолсов.

Именно поэтому антивирусные компании рекомендуют определённые настройки пользователю. И поэтому 99% пользователей придерживаются этим настройкам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

В первую очередь проверялись потенциальные возможности продуктов, в частности эвристического компонента. Но академическим этот тест назвать нельзя, так как максимальные настройки часто используются при сканировании по требованию, а в настройках антивирусных мониторов чаще всего эвристика или отключена (тот же Касперский или Нод) или стоит на минимуме, фактически не используется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

Сергей - отличная работа. Добротно сработано. Качество тестов раз от разу растет. Поздравляю вас и коллектив - респект!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Вот и интересно, сколько процентов вирья продетектируют мониторы того же касперского и нода с настройками по умолчанию. А потом сканеры.

У вас же, наверняка, остались образы VmWare. Может дополните тест? Будет очень интересно.

И конечным пользователям показательней.

И вендорам продемонстрировать, насколько эффективны дефолтные настройки.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Black Angel

Согласен с dan. Такая информация будет интересна. Посмотреть результаты по дефолту и с максимальными настройками.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Просто сначала говорите много слов (в основном вполне обоснованных) про то как другие делают синтетические тесты, про то, что надо симулировать работу пользователя. А сами потом проводите тестирование, которое непонятно что и кому показывает.

На самом деле, конечно, тест вы сделали отличный, за что вам низкий поклон ;) . Но его достаточно легко было доделать до теста, который можно было бы принять за стандарт в тестировании антивирусов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

не могу не согласиться, тем более что:

Advanced Heuristics extend the standard heuristic capabilities of ESET Smart Security and allows detection of a high number of new threats, etc. The advanced heuristics are disabled by default in the real-time components of ESET Smart Security. We recommend that you use Advanced Heuristics carefully when setting preferences for an on-demand scan, as it can slow the scanning time dramatically and occasionally produce a ‘False Positive’. For this reason, Advanced Heuristics are not enabled by default.

Так что было бы интересно поглядеть на уровень эвристики нода32 по умолчанию.

Добавлено спустя 26 минут 57 секунд:

но с другой стороны нельзя сказать что тест ничего не показывает.

он показывает что можно выжать из антивиря при проверке файла по требованию. Что собственно я часто делаю с файлами, которые скачиваю или по получаю по почте из мест не внушающих мне доверия.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
На самом деле, конечно, тест вы сделали отличный, за что вам низкий поклон Wink . Но его достаточно легко было доделать до теста, который можно было бы принять за стандарт в тестировании антивирусов.

Спасибо, за комментарий. Заменять детект, конечно, можно в два захода: со стандартными настройками и с максимальными, это не проблема и увеличит трудозатраты не слишком. В следующий раз обязательно сделаю в два прогона.

Единственным минусом тут может быть, возможно, усложнение результатов в целом, особенно если с разными настройками будут разные лидеры :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Сергей а до вас дошли мои сообщения отправленны около 23.00 в личку по поводу тренда?

что-то они у меня висят в исходящих и в отправленные не попадают.

я продублировал на почту (anti-malware.ru)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей а до вас дошли мои сообщения отправленны около 23.00 в личку по поводу тренда?

Дошли, отписался уже по ним. Trend Micro не повезло из-за редкого выхода обновлений. Сегодня они уже берут гораздо больше (около 60%), но к сожалению, условия для все одинаковые.

Возможно и VirusBuster будет через недельки 3-4 будет показывать детект под 80% так ...

P.S. Я уезжаю на пару недель, поэтому не смогу оперативно ответить на все ваши вопросы, обязательно сделаю это по приезду.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NickXists

Примите поздравления с появлением еще одного теста!

Таким макаром вкупе с остальными тестими (лечение активного заражения/тест самозащиты/... ) может получиться и более-менее полная картина : )

Относительно результатов:

- Учитывая установку в тестах макс. настроек, для Avira, не исключено, сыграл роль детект "Unusual Runtime Compression Tools".

Это можно бы было хотя бы приблизительно оценить при наличии

статистики "упакованности" файлов (~сколько в % и ~чем, в %)

Или при наличии детального описания детектов/логов проверки.

Но это уже из серии "хорошо бы". Понятно, что трудно объять все моменты.

- несколько удивила Panda. Не то, чтобы я являлся ее горячим поклонником, но был о ее паранойе более высокого мнения

- удивил Avast. Был о нем худшего мнения в данном аспекте.

---

По поводу неизбежных очепяток:

...показали удовлетворительный результат и получили награду Bronze Self-Protection Award.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
- Учитывая установку в тестах макс. настроек, для Avira, не исключено, сыграл роль детект "Unusual Runtime Compression Tools".

Это можно бы было хотя бы приблизительно оценить при наличии

Логи есть, можно будет посчитать количество таких детектов.

- несколько удивила Panda. Не то, чтобы я являлся ее горячим поклонником, но был о ее паранойе более высокого мнения

Если смотреть недельные данные, то видно, как уровень детекта Панды резко упал после первой недели и далее также быстро падал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Великолепный тест. Результаты во многом были предсказуемы. Конечно, если бы учитывались фолсы, то и картина была бы иная и рейтинговая таблица - другой. Но это уже другой вопрос. В любом случае благодарю Сергея. Можно использовать как наглядное пособие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Лучшими по общему показателю защиты от вредоносных программ оказались F-Secure Anti-Virus (98%), Kaspersky Anti-Virus (93%), Avira AntiVir Personal Edition Premium (93%), BitDefender Antivirus (86%) и AVG Anti-Virus (86%)."

опять опечатка.у каспера 98%, а не 93%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Арбитражный управляющий Каждый может оказаться в такой ситуации, когда требуется профессиональная и своевременная поддержка юриста. Если и вы вынуждены стать банкротом и оформить это по закону, то необходимо обратиться за такой услугой в центр банкротства. В компании работают квалифицированные специалисты с большим опытом, а в их багаже большое количество успешно завершенных дел. Именно поэтому вы сможете надеяться на отличный результат. Важно учесть тот момент, что специалисты детально изучают вопрос для того, чтобы подробно рассмотреть вопрос, после чего выявить возможности благоприятного результата. Списать долги Волгоград (Списание кредитов) получится по закону. Нет необходимости в том, чтобы переживать за процесс. Так специалисту удастся списать те долги, которые вы не в силах выплатить. Увы, но этот процесс может занять несколько месяцев, к тому же он не бесплатный. Банкротство физических лиц в Волгограде ведет компетентный сотрудник – он добросовестно и ответственно подойдет к решению вопроса. Он будет защищать интересы клиента, руководствуясь Конституцией. Юрист по банкротству займется оформлением документов и заявления, подготовит все факты в пользу того, чтобы объявить вас неплатежеспособным. Опыт сотрудников позволяет браться за дела различной сложности. Арбитражный управляющий Волгоград поможет вам избавиться от долгов. Что касается расценок, то на них влияют самые разные факторы, включая расходы на законодательном уровне. Подписывается договор на указание услуг – в нем указываются обязанности каждой стороны, набор услуг. Юрист рассмотрит все аспекты вашего дела. Важным моментом является то, что все ваши долги будут списаны в полном объеме при положительном исходе дела. Специалист использует все ресурсы, которые потребуются для того, чтобы получить положительный результат.
    • Dmitrius
      Септик в Москве и Московской области Компания долгое время и на выгодных условиях оказывает услуги, связанные со строительством автономной канализации в Москве и области. Если Вам необходима выгребная яма – ознакомьтесь с интересующей информацией на официальном портале. Автономная канализация, организованная на дачном участке, положительно влияет на уровень комфорта. Несмотря на то, планируется ли круглый год проживать на участке или только летом, вы почувствуете удобство. Цену на ее установку вы сможете узнать на сайте. Компания длительное время работает в данной сфере, а потому предлагает только выгодные условия, доступные цены, а сами работы выполняются быстро, аккуратно и в наиболее комфортное время. Она наладила сотрудничество с проверенными и надежными поставщиками оборудования. Специалисты создадут высокотехнологичную и работающую систему под ключ. В работе используются только надежные, качественные материалы, выполняются технологические условия. Если говорить о ценах, то они остаются на среднем уровне, а потому воспользоваться услугой смогут все, кто хочет. Кольцевой накопитель отлично подходит для сбора сточных вод при условии, что в доме на постоянной основе проживают до 7 человек. Все работы будут выполнены в минимальные сроки и тогда, когда это удобно именно вам. С собой будут все необходимые инструменты, а также материалы. Сотрудники осуществят установку и выполнят все нужные работы. При появлении вопросов задайте их сотрудникам, которые все пояснят, а также определят общую стоимость работ. Специалисты выполнят все необходимые работы, несмотря на время года. Отсутствуют дополнительные наценки, переплаты, только прозрачные условия сотрудничества.
    • Ramonsmaps
      Over the years of independence, the institute has trained more than 13000 physicians (including 800 clinical interns, 1116 masters, 200 postgraduates and 20 doctoral students) in various directions.

      870 staff work at the institute at present,[when?] including 525 professorial-teaching staff in 55 departments, 34 of them are Doctors of science and 132 candidates of science. 4 staff members of the professorial-teaching staff of the institute are Honoured Workers of Science of the Republic of Uzbekistan, 3 – are members of New-York and 2 – members of Russian Academy of Pedagogical Science.

      The institute has been training medical staff on the following faculties and directions: Therapeutic, Pediatric, Dentistry, Professional Education, Preventive Medicine, Pharmacy, High Nursing Affair and Physicians’ Advanced Training. At present[when?] 3110 students have been studying at the institute (1331 at the Therapeutic faculty, 1009 at the Pediatric, 358 at the Dentistry, 175 students at the Professional Education Direction, 49 at the faculty of Pharmacy, 71 at the Direction of Preventive Medicine, 117 ones study at the Direction of High Nursing Affair).

      Today graduates of the institute are trained in the following directions of master's degree: obstetrics and gynecology, therapy (with its directions), otorhinolaryngology, cardiology, ophthalmology, infectious diseases (with its directions), dermatovenereology, neurology, general oncology, morphology, surgery (with its directions), instrumental and functional diagnostic methods (with its directions), neurosurgery, public health and public health services (with its directions), urology, narcology, traumatology and orthopedics, forensic medical examination, pediatrics (with its directions), pediatric surgery, pediatric anesthesiology and intensive care, children's cardiology and rheumatology, pediatric neurology, neonatology, sports medicine.

      The clinic of the institute numbers 700 seats and equipped with modern diagnostic and treating instrumentations: MRT, MSCT, Scanning USI, Laparoscopic Center and others.

      There are all opportunities to carry out sophisticated educational process and research work at the institute.

      Source:
      https://adti.uz/magistratura/
      medical institutes of uzbekistan

      Tags:
      medical institutes of uzbekistan
      regional scientific medical library
      electronic library of a medical student
      electronic medical library official website
    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
×