Результаты теста проактивной антивирусной защиты

[Deja_Vu 366]

Такое ощущение, что я общаюсь со школьниками...

В данной ситуации не работает простая арифметика:

0+100=100

100+0=100

График как вам известно строится из статистических данных. Поэтому программа, которая будет иметь 100% сигнатуру при встрече с новым (неизвестным ей вирусом) даст результат "0" , а не "100". Поэтому самая надежная будет та программа, которая находится в точке пересечения 50х50!!!!

А если пойти дальше в рассуждениях, то мы придем к выводу: не существует и не может существовать программ у которых и сигнатура и эвристика работает на 100%.

Поэтому для получения отличного результата нужно пользоваться как минимум двумя программами. Какими - догадайтесь сами из графика.

График просто супер! Только его автору стоило бы построить на тестах с более длительным срокрм. Тогда он давал бы оценку програм с большей вероятностью к истине.

Слабо разработчикам поучаствовать в таком тесте?

Извините конечно, но тогда если судить вашей логике, то лучший антивирус Касперский.

а) Ближе всех к пересечению 50% х 50%

б) И ближе всего к диагонали

НО НИКАК не AVG и тем более на VBA...

---

+ Почему бы антивирусу быть не идеальным, если бы у него эвристическое обнаружение было бы 100% ((-

[Иван 290]

мдя BAV в школе вас явно ничему не учили

а насчет сбалансированности показатель сигнатуры - 10% детекта, эвристик -10% тоже сбалансирован, однако гордится таким результатом глупо - в итоге всего 20% детекта.

Ровно такая же ситуация с VBA, только показатели VBA получше чем 10%, но все же очень низкие. И по-моему тот кто не видит этого на графике - ну по крайней мере не в ладах с математикой.

Лучший детект у того кто находится максимально близко к диагонали, потому что на диагонали находятся все точки дающие в сумме (сигнатуры+эвристик) 100%.

BAV вы до сих пор не догоняете? Зайдите в школу, пообщайтесь с учителем математики. Жаль Сергей вас сейчас не читает, он бы посмеялся.

[BAV 0]

Да.... Тяжело ....

Касперский в сигнатурной зоне детекта лучший... Спору нет....

Добавлено спустя 2 минуты 28 секунд:

Школу вы, возможно и закончили, Иван, а вот логически мыслить там видно не учили...Извините, может немного грубо...

[Иван 290]

BAV давайте я вам объясню последний раз

Объясняю последний раз

-Рисунок номер 3 строился на основе таблицы номер 3

-По оси X откладывался второй столбец таблицы 3, по оси Y первый столбец таблицы 3.

-У кого сумма этих детектов больше, тот и ближе к диагонали.

В результате

-Касперский: эвристика -45%, сигнатуры - 52%, общий детект -согласно таблицы 98% (засчет окургления десятых)

-VBA: эвристика - 48%, сигнатуры - 31%, общий детект - 79%

-Avira: эвристика - 71%, сигнатуры -22%, общий детект - 93%

Теперь внимание вопрос, глядя на приведенный цифры, ответьте мне BAV: VBA лучше Касперского и Авиры?

Если да, то я умываю руки.

Любой нормальный человек глядя на эти цифры будет выбирать между каспеским и авирой, но никак не между VBA и чем-то еще.

[BAV 0]

Еще раз цитирую автора!

AVG оказалась в самом лучшем положении. У нее лучше всех сбалансировано соотношение эвристика-сигнатура.

Avira, BitDefender, DrWeb, Kaspersky - согласно графика имеют уклоны в ту или другую сторону. (либо эвристика, либо сигнатура преобладают)

Это не я озвучил! Автор графика. Или может он ошибся?

[Deja_Vu 366]

Да.... Тяжело ....

Касперский в сигнатурной зоне детекта лучший... Спору нет....

Очень спорно .. ибо F-Secur.. чуть-чуть опержеает.. на десятые ...

Правда по графикам тяжело оценить чисто сигнатурное обнаружение. ((-

[vpsa 5]

финальная подпись с багой:

"Kaspersky Anti-Virus (93%)," хотя по таблице 98=)

ай-ай-ай

и по графику...F-secure точно больше задетектила в сумме? =))

И вообще работа проделана хорошая, но акцентирование в статье почему-то упорно мимо Касперского...может я конечно не объективен...но утверждать что 45 и 52% - это несбалансированно, это "в основном сигнатурно", а вот 37% и 49% - это верх сбалансированности, и "одинаково эффективно".

хотя я сказал бы - одинаково неэффективно. ибо общий детект в районе 63-65 процентов это ЖЕСТЬ.

в общем, остались неприятные впечатления от текста в самой статье...я бы понял если бы KAV показал 80-90%...но он единственный кто показал 98!! процентов, ну не считая, понятно, F-secure, ибо его результат понятен.

[Deja_Vu 366]

Еще раз цитирую автора!

AVG оказалась в самом лучшем положении. У нее лучше всех сбалансировано соотношение эвристика-сигнатура.

Avira, BitDefender, DrWeb, Kaspersky - согласно графика имеют уклоны в ту или другую сторону. (либо эвристика, либо сигнатура преобладают)

Это не я озвучил! Автор графика. Или может он ошибся?

На самом деле очень спорное утверждение ... опять же.

И чесное слово ... никто ничего не балансировал создавая этот антивирус.. так уж получилось.

При том.. если программа дает 71% эвристического обнаружения, нет никакой гарантии что сигнатурноеобнаружение у нее будет 0%, т.к. сигнатурное обнаружение проводили на ОСТАВШЕЙСЯ части семплов, в кот. не было обнаружено вирусов.

И если AVG дает в сумме 86% ... а Avira 93% кто вам дал гарантию, что при отключении эвристической составляющей, этот антивирус так же не обнаружит все 93%?!?!

----

Подоводя итог всему вышесказанному:

а) Лучше всего, когда общий детект стремиться к 100%.

б) Не факт, если антивирус показал высокое эвристическое обнаружение, что сигнатурная составляющая слабая.

в) График все же назван не верно.

[A. 875]

При том.. если программа дает 71% эвристического обнаружения, нет никакой гарантии что сигнатурноеобнаружение у нее будет 0%, т.к. сигнатурное обнаружение проводили на ОСТАВШЕЙСЯ части семплов, в кот. не было обнаружено вирусов.

И если AVG дает в сумме 86% ... а Avira 93% кто вам дал гарантию, что при отключении эвристической составляющей, этот антивирус так же не обнаружит все 93%?!?!

Да при том, что антивирусы проверяют файлы сначала СИГНАТУРАМИ, а только потом эвристикой (если сигнатуры ничего не нашли). Есть конечно исключения, но в подавляющем большинстве именно так.

[Иван 290]

в тексте автора написано

Самыми сбалансированными в этом отношении оказались AVG Anti-Virus Professional Edition и VBA32 Antivirus, Symantec Anti-Virus и McAfee VirusScan Plus, в которых оба компонента отработали одинаково эффективно.

это очередная бага текста этого обзора, имелось в виду что у перечисленных антивирусов примерно равный вклад дали сигнатурные и эвристические технологии. Слово эффективность здесь употреблено в смысле того что оба компонента у перечисленных антивирусов обладают одинаковой эффективностью, при этом эта эффективность может быть низкой.

Спорим по возращении Сергей этот кусочек исправит, как исправит баги с округлением в таблице?

Добавлено спустя 7 минут 35 секунд:

При том.. если программа дает 71% эвристического обнаружения, нет никакой гарантии что сигнатурноеобнаружение у нее будет 0%, т.к. сигнатурное обнаружение проводили на ОСТАВШЕЙСЯ части семплов, в кот. не было обнаружено вирусов.

И если AVG дает в сумме 86% ... а Avira 93% кто вам дал гарантию, что при отключении эвристической составляющей, этот антивирус так же не обнаружит все 93%?!?!

а вот с этим не могу не согласиться.

Но все же график интересен. Надо тока его по другому как-то обозвать.

По оси х отложен не вклад сигнатурной сотавляющей (как это анонсировал Сергей), а % самплов, который антивирусы не взяли бы не будь у них сигнатурной составляющей. Во как!

[vpsa 5]

и ещё. называть эвристик "проактивной защитой" -ИМХО НЕКОРРЕКТНО.

какой-то про-есетовский подход. моё ЛИЧНОЕ мнение - эвристик это уже давно не проактивная защита. и не инновация ни разу. это прошлый век.

как и сигнатуры. А то так можно докатиться и до обзывания сигнатур - проактивкой. Но не хочу разводить флуд по этому вопросу в этой теме, поэтому это всего-лишь моё ИМХО.

добавление для Mr. Justice: чтобы не провоцировать флуд, отвечу редактированием этого сообщения, и уточню свою позицию:

спасибо за информацию, однако я это знаю. а почему не корректно - по той простой причине, что когда раньше ДРУГИХ проактивных(превентивных) технологий не было, можно было поставить примерное равенство между этими понятиями. сейчас, когда эвристик (статический; динамический, какого типа -- без разницы...в ОБЩЕМ эвристик) является лишь МАЛОЙ(не по сложности, и пятому/десятому, а практической эффективности. моё личное мнение опять таки) частью проактивной технологии, ставить равенство по моему недопустимо. как нельзя говорить и что PDM - это единственный проактивный механизм, а других нет. лишь ВСЁ ВМЕСТЕ можно назвать "проактивкой".

Да, я читал уточнение, что тестируется только эвристик. но в шапке написано - проактивки, и на сайте проактивки...а на поверку лишь ЧАСТИ проактивки. понимающие люди это то поймут, а вот неопытные этим будут обескуражены. вот поэтому такое моё ИМХО.

[Mr. Justice 771]

и ещё. называть эвристик "проактивной защитой" -ИМХО НЕКОРРЕКТНО.

какой-то про-есетовский подход. моё ЛИЧНОЕ мнение - эвристик это уже давно не проактивная защита.

Уважаемый, защита может быть проактивной и реактивной. Проактивная (превентивная) включает в себя как поведенческий, так и эвристический анализ.

и не инновация ни разу. это прошлый век.

как и сигнатуры. А то так можно докатиться и до обзывания сигнатур - проактивкой.

Так оно и есть, generic сигнатуры можно рассматривать как элемент проактивной защиты.

Но не хочу разводить флуд по этому вопросу в этой теме, поэтому это всего-лишь моё ИМХО.

Все верно, в этой теме данный вопрос обсуждать не стоит. Кроме того это уже не раз обсуждалось на нашем форуме.

[BAV 0]

Согласен. надо результаты обработать и подойти к ним с другой точки зрения. Может еще какие нибудь ошеломляющие графики получим!?

[vaber 350]

Сколько споров-то об одном лишь графике )

Хочу заметить, что результаты расчитывались на основе данных полученных из процентного детекта по-недельно. Всего 4 недели. Коль имеется у нас серия измерений, но было бы правильно расчитать погрешность. Ради спортивного интереса я расчитал погрешность у лидера теста - антивируса Авира. Средний процент детекта - 71%

Исходя из данных по 1, 2, 3, и 4 недели 72%, 72%, 65%, 74% соответственно можно расчитать стандартное отклонение и, учитывая, что число степеней свободы равно 3,берем соответствующий этой величине и доверительной вероятности 0,95 Tp= 3,18. В итоге, получаем резльтат такой для Авиры: 71 +/- 6%. Как видно погрешность немаленькая и это стоит учитывать при сравнении результатов различных антивирусов. Будет время - посчитаю для каждого антивируса.

[Александр Шабанов 120]

Судя по дискуссии график получился у Сергея действительно хорош

Но мои опасения оправдались, вторая часть с дополнительным сигнатурным детектом всё же шла как бонус, а воспринимается как основной результат. Медали то всё таки не по графику распределялись, поэтому еще раз сделаю акцент на том, что лучшие в тесте те, кто были лучше в первой части теста :wink:

[Сергей Ильин 1538]

Еще раз цитирую автора!

AVG оказалась в самом лучшем положении. У нее лучше всех сбалансировано соотношение эвристика-сигнатура.

Avira, BitDefender, DrWeb, Kaspersky - согласно графика имеют уклоны в ту или другую сторону. (либо эвристика, либо сигнатура преобладают)

Это не я озвучил! Автор графика. Или может он ошибся?

Близость к диагонали идущей из точки (0;0) в точку (100;100) означает сбалансированность антивируса, т.е. его эффективность в равной степени зависит от обоих компонент защиты - эвристики и сигнатур.

Близость к кривой (100;0) - (0;100) говорит об уровне детекта в целом, только достигаться он может за счет разных компонент защиты. Одни обеспечивают его в основном за счет эвристики (Avira, BitDefender), другие за счет сигнатур (Касперский, F-Secure).

Добавлено спустя 11 минут 24 секунды:

И вообще работа проделана хорошая, но акцентирование в статье почему-то упорно мимо Касперского...может я конечно не объективен...но утверждать что 45 и 52% - это несбалансированно, это "в основном сигнатурно", а вот 37% и 49% - это верх сбалансированности, и "одинаково эффективно".

Последние абзацы выводами я сегодня поправлю. Всем спасибо за комментарии, ошибок действительно много, тест первый в своем роде, да и времени было в обрез. :oops:

[Сергей Ильин 1538]

По вашим пожеланиям добавил в таблицу 3 десятые доли процентов.

P.S. Выше был вопрос по VBA32. Настройки эвристики были сделаны на максимум, избыточный режим не применялся.

[Kokunov Aleksey 20]

Хотелось бы увидеть такое разделение внутри слолбцов % детекта, основываясь на вердикте:

Общий % детекта | % детекта пакеров

по обеем таблицам.

Я конечно понимаю что это сложно, но все же - это будет более полно отображать картину работы эвристиков.

[Иван 290]

забудьте вы эти 4 вида детекта с графиков вирусинфо, они настолько примерны, что фактически очень плохо отражают картину. Вердикты у всех разные и точно по многим из антивирей ничего разделить нельзя, а вирусинфо на глазок это делает

[Kokunov Aleksey 20]

я просто хотел узнать где эвристака сработала на пакер, а где на саму малвару, и какое процентное соотношение этих случаев.

И ничего более

[Сергей Ильин 1538]

Kokunov Aleksey, проще просто сказать, у кого было много вердиктов на пакеры. Очень много было у Avira.

Если интересно, то могу посчитать по логам после НГ, сейчас нет времени из-за подготовки другого теста.

[Storm 0]

сейчас нет времени из-за подготовки другого теста

Надеюсь это не новогодний тест на лучшее шампанское? :roll:

[Kokunov Aleksey 20]

конечно интересно, я подожду.

[Сергей Ильин 1538]

конечно интересно, я подожду.

Тема интересная, нужно будет посчитать по логам, самому интересно.

Кстати, Астера сделала обобщающий вывод по результатам нашего теста:

Лучшая защита для вашего компьютера

А вот Avira не смогла как-то выжать максимум из победы, новость выглядит слабенько как-то, даже не упомянули полученную награду в тесте.

Добавлено спустя 1 минуту 51 секунду:

Надеюсь это не новогодний тест на лучшее шампанское? Rolling Eyes

До шампанского пока дело не дошло

[Kokunov Aleksey 20]

Тема интересная, нужно будет посчитать по логам, самому интересно.

в смысле % детекта пакеров/криптеров, да?

ЗЫ только процент наверно лучше указывать абсолютный т.е. по детект из всей коллекции

Добавлено спустя 1 минуту 23 секунды:

ЗЫЫ интеревно, а ПДМ Касперского в этом случае попадает под понятие эвристический анализатор? :?:

Добавлено спустя 1 минуту:

Я так и не понял - учавствовал он в тесте или нет, я просто методологию теста не читал, заранее извиняюсь