Результаты теста проактивной антивирусной защиты II

[Сергей Ильин 1538]

Подскажите, в Dr.WEB Space разве HIPS встроенный, в отличии от обычного антивируса???

У DrWeb нет своих технологий HIPS. Вопрос как-то не относится к этому тесту, мы тут HIPS'ы не тестировали.

[Vofres 20]

Очень познавательный и своевременный тест. Кроме неожиданно вырвавшегося на золото BitDegender'а остальные результаты, в принципе, ожидаемы. Жаль только, что Nod32 4-я версия вышла позже. Да, кстати,

Для проведения теста в время заморозки антивирусных баз была собрана коллекция из 5166 уникальных самплов новейших вредоносных программ и коллекция из 15121 чистого файла.

как-то звучит не очень. Я бы написал "во время заморозки"

[kvit 85]

Результаты теста эффективности эвристиков (разбивка по неделям)

Как видно из таблицы 2, практически у всех антивирусов резко падает эффективность уже на 2-й и 3-й недельной коллекции. Исключение здесь составляют разве что аутсайдеры теста, у которых уровень обнаружения всегда одинаково низок.

вывод не совсем с таблицей совпадает... да, конечно, про 2 и 3 неделю верно - детект упал, но в четвертой то недели - детект снова вырос. явно тут вывод притянут за уши, так как вероятнее всего разные разновидности зловредов были во 2-3 недели и 4.

[Umnik 997]

Сергей Ильин

Может использовать десятичную запятую, а не точку?

[Сергей Ильин 1538]

явно тут вывод притянут за уши, так как вероятнее всего разные разновидности зловредов были во 2-3 недели и 4.

На 4-й неделе наблюдался аномальный рост детекта, мне сложно сказать с чем это связано. Возможно, причина лежит в сроках проведения теста. После Нового года мог быть провал с новыми семействами, так как все пьянствовали и расслаблялись, и отрабатывали старые семейства, по которым детек выше у многих.

Кроме неожиданно вырвавшегося на золото BitDegender'а остальные результаты, в принципе, ожидаемы.

Это как раз ожидаемо. В прошлом тесте у них тоже было золото, эвристика у BitDefender на уровне, просто у нас их продукты мало известны.

[Shadow_Tm 0]

У DrWeb нет своих технологий HIPS. Вопрос как-то не относится к этому тесту, мы тут HIPS'ы не тестировали.

В тесте тестировался обычный Dr.WEB антивирус. Насколько мне известно, в Dr.WEB Space есть модуль GATE, как раз для защиты от неизвестных угроз. Поскольку, этот модуль не является HIPS-ом, возникает вопрос, почму Space не тестировался? Пусть даже параллельно, но было бы понятно, есть ли резон в GATE-модуле.

[Виталий Я. 859]

Это неверное понимание теста. Мы вообще не трогали тут хипсы в принципе. Тестировалась эффективность эвристики. Для этого мы смотрели не только уровень детекта, но и уровень ложных срабатываний (как обратную сторону технологии).

Дополнительно к этому антивирусы проверили на скорость реакции (общий детект в конце теста), оценив процент добавочного для нашего случая сигнатурного детекта.

Проверка HIPS - это совсем другой тест. Вам сюда http://www.anti-malware.ru/node/885

Кстати, если на то пошло - комментарий по все той же терминологии: под проактивной антивирусной защитой каждый понимает что-то свое. Anti-malware.ru (не странно ли, что одинаково с Eset?) понимает преимущественно эвристику, а Agnitum - преимущественно связку firewall+hips. Мы же концентрируем наши усилия на разработке "первой" линии обороны - firewall и hips (это, конечно, не значит, что антивирусом никто не занимается). Это видение концепции безопасности конечного пользователя продуктов Outpost. О чем и сигнализирует возмущение нашего пользователя - "А где hips?"

В тесте тестировался обычный Dr.WEB антивирус. Насколько мне известно, в Dr.WEB Space есть модуль GATE, как раз для защиты от неизвестных угроз. Поскольку, этот модуль не является HIPS-ом, возникает вопрос, почму Space не тестировался? Пусть даже параллельно, но было бы понятно, есть ли резон в GATE-модуле.

Мне кажется, или модуль Gate проверяет траффик по портам? по сути является веб-антивирусом, анти-эксплойтом, но НИКАК НЕ HIPS.

[Shadow_Tm 0]

Мне кажется, или модуль Gate проверяет траффик по портам? по сути является веб-антивирусом, анти-эксплойтом, но НИКАК НЕ HIPS.

Я согласен, что это не HIPS, по-этому и интересно узнать уровень Space версии, а не обычного антивируса. И не понятно, почему Space не тестировали.

Кстати, может кто-то точно знает, что собой представляет GATE-модуль??? Ведь анти-эксплойты есть в обычном антивирусе, а здесь даже отдельный модуль.

[alexgr 556]

проверяет трафик по http. Никакого дополнительного уровня защиты практически не вносит, обеспечивая дополнительную фильтрацию на входе.о есть для данного теста равнобедренно, ИМХО

[Mr. Justice 771]

Кстати, если на то пошло - комментарий по все той же терминологии: под проактивной антивирусной защитой каждый понимает что-то свое. Anti-malware.ru (не странно ли, что одинаково с Eset?) понимает преимущественно эвристику, а Agnitum - преимущественно связку firewall+hips. Мы же концентрируем наши усилия на разработке "первой" линии обороны - firewall и hips (это, конечно, не значит, что антивирусом никто не занимается). Это видение концепции безопасности конечного пользователя продуктов Outpost. О чем и сигнализирует возмущение нашего пользователя - "А где hips?"

В корне неправильно. Практически все вендоры понимают этот термин одинаково: проактивная защита - это превентивная защита, защита, которая способна оказать противодействие новым, еще неизвестным угрозам, без каких-либо дополнений (усовершенствований) к продукту. По крайней мере, это, на мой взгляд, классическое понимание термина проактивная защита. Другой вопрос, что у разных производителей защитного ПО эта защита сводится к разным компонентам: у одних - к эвристическому анализу, у других к HIPS, у третьих к обычному поведенческому анализу, у четвертых к расширенным сигнатурам, у пятых - ко всему вместе.

[dr_dizel 385]

Практически все вендоры понимают этот термин одинаково:

проактивная защита - это превентивная защита, защита, которая способна оказать противодействие новым, еще неизвестным угрозам, без каких-либо дополнений (усовершенствований) к продукту.

Другой вопрос, что у разных производителей защитного ПО эта защита сводится к разным компонентам:

у одних - к эвристическому анализу,

у других к HIPS,

у третьих к обычному поведенческому анализу,

у четвертых к расширенным сигнатурам,

у пятых - ко всему вместе.

Это верно.

Но тогда список продуктов для данного теста проактивной защиты выбран неправильно, с заведомым дисбалансом в возможностях.

[Виталий Я. 859]

Это верно.

Но тогда список продуктов для данного теста проактивной защиты выбран неправильно, с заведомым дисбалансом в возможностях.

Поддерживаю. Слово "эвристическая антивирусная защита" было бы на порядок точнее, что и требовалось документировать. Но мы упираемся все в тот же расплывчатый "проактив".

[Сергей Ильин 1538]

В тесте тестировался обычный Dr.WEB антивирус. Насколько мне известно, в Dr.WEB Space есть модуль GATE, как раз для защиты от неизвестных угроз. Поскольку, этот модуль не является HIPS-ом, возникает вопрос, почму Space не тестировался? Пусть даже параллельно, но было бы понятно, есть ли резон в GATE-модуле.

Про GATE-модуль коллеги уже написали. Я еще хочу сказать, что два продукта от одного вендора в тесты мы стараемся не брать. В большинстве случаев это только пустая трата сил. Различия в тестируемом функционале ясны до теста, это уже скорее задача самого вендора доносить их до потребителей. Особенно это относится к Доктор Вебу, они много раз говорили о своих гениальных внутренних тестах, могли бы и поделиться их результатами со свиими клиентами.

Слово "эвристическая антивирусная защита" было бы на порядок точнее, что и требовалось документировать. Но мы упираемся все в тот же расплывчатый "проактив".

Виталия, я прекрасно понимаю ваши опасения. Разные вендоры используют и продвигают разный проактивный функционал, как верно написал Mr. Justice. Сравнивать его по хорошему можно только в рамках динамического теста.

Название теста выбрано из маркетинговых соображений, так просто намного понятнее людям. Тем более, что Eset очень хорошо разогрел рынок под именно такое понимание проактива. Чего бы не использовать волну? В начале статьи все доступно объяснется и дальше говорится об эффективности эвристики. Этот вопрос обсуждался еще после первого теста, многие выводы были тогда сделаны.

В какой-то степени мы навязываем рынку один простой условный рефлекс: тест на проактивку от Anti-Malware.ru - это тесты эвристики. Еще пара таких тестов и все это выучат на изусть

[Виталий Я. 859]

Виталия, я прекрасно понимаю ваши опасения. Разные вендоры используют и продвигают разный проактивный функционал, как верно написал Mr. Justice. Сравнивать его по хорошему можно только в рамках динамического теста.

Название теста выбрано из маркетинговых соображений, так просто намного понятнее людям. Тем более, что Eset очень хорошо разогрел рынок под именно такое понимание проактива. Чего бы не использовать волну? В начале статьи все доступно объяснется и дальше говорится об эффективности эвристики. Этот вопрос обсуждался еще после первого теста, многие выводы были тогда сделаны.

В какой-то степени мы навязываем рынку один простой условный рефлекс: тест на проактивку от Anti-Malware.ru - это тесты эвристики. Еще пара таких тестов и все это выучат на изусть

C позволения администрации независимого портала, высказанное положение о "навязывании" рынку определения является нарушением декларации объективности в разделе "О портале":

Одним из основных принципов работы Anti-Malware.ru является равноудаленность от всех участников рынка. Администрация портала стремится в равной мере освещать все представленные на российском рынке продукты. Объективно проводить тестирования, сравнения и обзоры различных программ, а также методов защиты от всех видов современных угроз, которые попадают под определение «malware».

Если мотив - навязать рынку представление о "проактивке" как о чисто антивирусном свойстве эвристики/generic-ов, то можно умывать руки. Вы бы лучше HIPS попиарили, до которого 2/3 "победителей в проактивке" еще пару лет не дорастут.

PS: Я не со своей "болотной кочки" хвалю как кулик, но призываю к объективности.

[Илья Рабинович 521]

Вы бы лучше HIPS попиарили, до которого 2/3 "победителей в проактивке" еще пару лет не дорастут.

Спокойно, сделают динамический тест- вот и будет пиар HIPS-систем защиты.

[3TE116 45]

Было бы весьма не плохо протестировать продукты как бы в этом тестировании,но в другой категории.

Допустим,

1.Антивирус детектит вирус,но удалить его не может,как например,другой продукт этот вирус не видит или он у него под подозрением Суспециус код.

2.Антивирус детектит вирус и успешно его удаляет.

Суспециус код хочу отметить то,что антивирус не уверен вирус это или не вирус,когда другие в нём видят вирус.Этот вариант весьма важен,т.к. в данной ситуации возникает вопрос вирус это или не вирус.

[dr_dizel 385]

А по сабжу получается, что надгады получили, попиарились, а смысл теста где-то потерялся...

Спокойно, сделают динамический тест- вот и будет пиар HIPS-систем защиты.

А можно в тест HIPS и Malware Defender взять?

[vovan7777 95]

Режет глаз конечно у Авиры 71% детект,а у Фсекуре 43% и обоим серебро....

все таки,на мой непрофессиональный взгляд,надо было сделать как в случае с лечением активного заражения...

Касперу -платину,а Авире -золото,остальным менее 61% серебро и менее 51% бронзу,остальным неуд.

честно рябит глаз немного...71% детект и штрафы в минус за фолсы...

если ноль фолс ,а детект хуже на четверть или треть,что очень существенно по меркам глобальной паутины и кучи вирья и гадостей.

а может детект,тоже разделить на реально нового типа зловреды и клоны предыдущих и не натасканных на эвристику,вирусов?

за % нового пойманного давать премию в плюс баллы,а за фолс-минусы в баллы.

как то коробит 61% лидер-золото

71% серебро

43% серебро....

хорошо бы и логичнее вытащить из архива Платину. (потому как ну не верю,что возможно вылечить 100% вирусов на активно-зараженной системе-хоть убей!)

Реально,со стороны ,а я этот ресурс смотрю уже около 2,5 лет,создается впечатление в последние время(личное мнение сугубо) ,"что всем сестрам по серьгам",а Касперский тихой сапой потихоньку уже и самый стабильный и самый "золотой" скоро будет....

Сам поражался неадекватности некоторых участников от доктора на этом форуме и не раз,но потихоньку и у меня начинают возникать вопросы по системе подсчетов.

На этом ресурсе,уважаю и принимаю к сведению,лишь мнение форумчанина p2u-как ,на мой взгляд,не предвзятого и объективного-остальные доверия простых пользователей не вызывают.

Можете накидать мне минусов,я просто высказался по теме.

[Umnik 997]

vovan7777

Вы нашли себе истину в последней инстанции? Забавно, что мои взгляды на многие вопросы не совпадают со взглядами Паула. Но это не вводная, суть ниже и по пунктам.

Режет глаз конечно у Авиры 71% детект,а у Фсекуре 43% и обоим серебро.... wink.gif

Тест обсуждаемый. Дежа Вю высказал мысль о пороге фолсов, ее поддержали. У Вас была отличная возможность узнать заранее тот порог и прикинуть в уме, считаете ли Вы его корректным или готовы доказать, что он завышен.

vovan7777

За не самый высокий детект? Нет, однозначно. Платина - это самая престижная и редкая награда. Требования к ней очень высоки и давать ее просто, чтобы дать, это глупость.

а Авире -золото,остальным менее 61% серебро и менее 51% бронзу,остальным неуд.

Спросили бы заранее за пороги и получили бы ответ. Прикинули бы, мнение высказали.

если ноль фолс ,а детект хуже на четверть или треть,что очень существенно по меркам глобальной паутины и кучи вирья и гадостей.

Так то оно так. А только приятного мало, когда на твой индикатор раскладки клавиатуры ругаются уже недели три, а в любом непонятном упаковщике, в т.ч. от коммерческого ПО, подозревают троян. В общем, все снова упирается в пороги.

ну не верю,что возможно вылечить 100% вирусов на активно-зараженной системе-хоть убей!

Давайте не будем снова. Предлагаю Вас сходить в тему и почитать, что тестировались методы заражения и лечение конкретных 15 методов. И что антивирусы знали, с чем имеют дело, детектили их сигнатурно. Т.е. можно вылечить 100% методов заражения, в теории. Но в реале нужно еще 100% детекта вредоносов, а это (пока?) фантастика.

Можете накидать мне минусов,я просто высказался по теме.

У меня идея лучше. Попробую позже ее реализовать.

[Сергей Ильин 1538]

Если мотив - навязать рынку представление о "проактивке" как о чисто антивирусном свойстве эвристики/generic-ов, то можно умывать руки. Вы бы лучше HIPS попиарили, до которого 2/3 "победителей в проактивке" еще пару лет не дорастут.

Виталий, зачем же передергивать моя слова? Я сказал, что хочу навязать рынку, что под тестов на проактивность от нашего портала понимали тест эвристики. Все просто будут знать, что вот такой этот тест и ничего больше. Приравнивать проактив и эвристику и тем более транслировать это рынку я бы не решился в здравом уме

честно рябит глаз немного...71% детект и штрафы в минус за фолсы...

как то коробит 61% лидер-золото

71% серебро

43% серебро.... mellow.gif

А если завтра Авира поднимет детект до 95% ценой увеличения фалсов до 10%, ей платину или золото все равно золото давать? Вроде как отрыв от других будет огромный ...

Посмотрите на Софос, ребята добились "золотого детекта", но при этом ругаются на каждый 50-й файл! Это нормально и достойно золота?

Надо трезво оценивать эвристические технологии, а у них есть и негативная сторона - ложные срабатывания. Если бы Касперский или Исет орали бы на каждый упакованный объект, то их детект был бы процентов под 90%

Нельзя смотреть только детект. Считаю, что мы сделали очень большой шаг в доработке методологии этого теста и он сейчас больше отражает именно кажество эвристических технологий.

И потом, если для вас фалсы не проблема, то юзайте лучший по детекту продукт - Авиру. Мы ведь приводим все цифры, у кого голова на плечах есть выберет нужный ему продукт.

[Umnik 997]

Я сказал, что хочу навязать рынку, что под тестов на проактивность от нашего портала понимали тест эвристики.

Т.е. полного теста проактивки не будет даже в будущем? В частности, запуск вредоносных файлов, что заставит работать не только эмуляторы, но и поведенческие блокираторы и ХИПСы в защитном ПО.

[Skeptic 235]

С удовольствием юзаю Авиру последние 2 года, и с интерпретацией теста в принципе согласен. Что-то много в последнее время фолсов дает...

А вот то, что нет слова "эвристика", и, как я понял, по принципиальным соображениям, не совсем понятно.

[Сергей Ильин 1538]

Т.е. полного теста проактивки не будет даже в будущем? В частности, запуск вредоносных файлов, что заставит работать не только эмуляторы, но и поведенческие блокираторы и ХИПСы в защитном ПО.

Он будет под названием "Динамический тест проактивной антивирусно защиты", пробный такой у нас уже был

http://www.anti-malware.ru/node/885

А вот то, что нет слова "эвристика", и, как я понял, по принципиальным соображениям, не совсем понятно.

Как это нет? Где нет этого слова? В отчете о тесте слова "эвристика" и "эвристический" встречаются 37 раз, специально посчитал

[Deja_Vu 366]

как то коробит 61% лидер-золото

71% серебро

43% серебро....

Система наград вполне адекватная (пример с антивирусом, который детектит любой файл как вирус - тогда у него будет 100% результат), просто выводы делый каждый для себя сам, смотря на результаты, а не на медальки.

[Umnik 997]

У меня идея лучше. Попробую позже ее реализовать.

Готово. Выставляйте свои пороги и смотрите, какие медальки кто получит. Можете делиться своими соображениями на будущее ("Считаю, что такие пороги лучше...")

Книга1.xls

График влепил улыбки ради.

Книга1.xls