AV-Comparatives: Retrospective Test (февраль 2009)

[p2u 824]

По правилам этого сайта нельзя давать прямую ссылку на результаты. Поэтому: Web Site Main.

В разделе Comparatives/Reviews - Main Tests найдёте 21 On-demand comparative February 2009 Report (PDF).

Paul

[Александр Шабанов 120]

Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям...

[georgy_n 80]

Интересно, что у него за коллекция чистых файлов,

С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление

Зато порадовала McAfee с Artemis, хотя, технология не нова, если не ошибаюсь, - "коллективный разум" Панды?

[Сергей Ильин 1538]

Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... wacko.gif

С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление smile.gif

Расхождение по Sophos вполне объяснимы. Как обычно все дело в методологии. Мы брали читые файлы, загруженные в сеть (на download.com) в период проведения проактивного теста. Вендоры не могли заточить свои продукты под эти фалсы, у них не было шансов. Можно сказать, что это "проактивные фалсы".

В тесте Клименти антивирусы прогонялись по какой-то коллекции подготовленной под тест до его старта, а тут уже как повезет уже ... кто подсуетился, тот и меньше фалсит Это раз.

Клиенти тестит Sophos c отключенным детектом подозрительных файлов. Для интереса они включили этот детект и получили 68 фалсов вместо 5. Там это написано на стр. 12, так что расхождений нет и Андреас не ошибся.

Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

[p2u 824]

Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Это вы, возможно, неправильно поняли. Там говорится, что все продукты кроме Sophos тестировались с максимальными настройками (вторая строчка под 'comments'):

Comments

As almost all products run nowadays in real life with highest protection settings by default or switch automatically to highest settings in case of a detected infection, we tested all products with highest settings (except Sophos).

(подчёркивание их)

и потом перечисляется какие продукты по умолчанию какие настройки применяют, и какие именно вендоры уже в прошлом году просили тестировать именно с максимальными настройками. Например: по умолчанию Касперский работает с Low Heuristics, но в тесте тестировали продукт с High Heuristics по просьбе же ЛК. Только Sophos настаивала на то, чтобы тестировали их продукт с настройками по умолчанию, что тестеры и сделали.

Paul

[Skeptic 235]

Интерпретация результатов убийственная. Касперский пропустил почти в 10 (!!!) раз больше, чем Авира. При этом показал 14 фолсов, а Авира - 24. И после этого ему дают advansed+, а Авире - фиг с маслом. Тут не просто логики нет - совести ни на грош.

После этого Клементиевские дипломы для меня не существуют.

[p2u 824]

@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

none or few: 0-3

few: 4-15

many: 16-100

very many: 101-500

crazy many: over 500

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них. Не зря же Sophos настаивала на тестирование их продукта с настройками по умолчанию...

Paul

[Skeptic 235]

@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них.

Paul

Пауль, да я все понимаю. Ну, что можно сказать? Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

[p2u 824]

Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

Эх... Вы же сами свой продукт знаете? Какая на самом деле разница?

Paul

[Umnik 997]

Skeptic

Коллекция в 1 млн+ файлов позволяет считать не в штуках, а в процентах.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Потому что менее фолсивый. Порог фолсов - это очень верный ход.

[Skeptic 235]

Эх... Вы же сами свой продукт знаете? Какая на самом деле разница?

Paul

Ну да. Но мне обидно за Клементи, я уважаю его тесты. И вдруг такие ляпы - видны невооруженным глазом. Мне и раньше казалось, что в интерпретациях своих он сознательно задвигает немецкие антивири (что в 2006, когда он по итогам года предпочел НОД ГДАТЕ, хотя она явно лучше результаты показала, что в последних тестах, когда Авира страдает). Очевидно, чтобы его не обвинили в землячестве... Может быть, и глупо, конечно, но такие мысли возникают.

А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

[p2u 824]

@ Skeptic

Это риск когда вендор сам просит тестировать его продукт с максимальными настройками - сам он себе злобный буратино. Расширенные настройки, да, но у Авиры эвристика должна быть на среднем уровне (так по умолчанию). Думаю, что детект будет ненамного хуже. А теперь получается, что наказали за жадность...

P.S.: Вообще-то надо было тестировать ВСЕ продукты с настройками по умолчанию - так средний клиент их дома использует. А так получается опять пустая показуха; технически продукты на что-то способны, но средний клиент использовать этот потенциал всё равно не будет. Нереальные результаты в нереальных условиях - так всегда на таких тестах...

Paul

[Olegka-2007 0]

А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

[Skeptic 235]

Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

[vaber 350]

Вставлю свои 5 копеек:

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор. И не только потому что там старье - а как раз потому, что там действительно полно мусора. Единственная цель для которой они могут использоваться - пиар. Учитывая результаты всех антивирусов от 90%, хотя реально эта цифра совсем далека от таких значений и никоим образом не позволяет сделать вывод о эффективности антивируса.

В принципе, даже от ретроспективных тестов толку мало...в частности проводимых с той методологией, которая используется Клементи. В итоге, учитывая, что на данный момент у Клементи кроме on-demand и retrospective других тестов нет, видна его попытка что-то изменить - появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование и тест на лечение активного заражения. Но мне что-то подсказывает, что будет разработана такая методология, что и в этих тестах большинство продуктов покажет хорошие и отличные результаты.

[Сергей Ильин 1538]

все продукты кроме Sophos тестировались с максимальными настройками

У многих написано ровно следующее:

.. with highest setting by default.

Так с максимальными или с настройками по умолчанию?

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор.

Полностью согласен. Такие тесты сейчас реально ничего не показывают. Кроме того, используемая в них коллекция всегда вызывала кучу вопросов.

[p2u 824]

У многих написано ровно следующее:

.. with highest setting by default.

Так с максимальными или с настройками по умолчанию?

Ответ можно легко угадать если цитировать и при этом не опускать глагол 'runs' - в present simple (то есть ВСЕГДА, как правило): уже по умолчанию работает с максимальными настройками).

Paul

[Olegka-2007 0]

Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Нет не странно! Я привел Вам это утверждение не для того, чтобы показать какой Каспер хороший! Я хотел показать, что ни Вы ни я не знаем состав этой коллекции!

[p2u 824]

Я хотел показать, что ни Вы ни я не знаем состав этой коллекции

Да. Когда тест невоспроизводим, он всегда вызывает сомнение.

Paul

[Илья Рабинович 521]

появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование

Динамика там стартует в апреле, длиться будет полгода и по цене, которая мне не по карману.

Мое мнение такое - тесты такого рода ни о чем.

И моё тоже. Мусорное пиар-тестирование на палёных зловредах, которыми давно никто не пользуется из непонятно каких источников (коллекция закрыта).

[Skeptic 235]

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

[p2u 824]

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Вендоры ДОЛЖНЫ знать, потому что:

1) по правилам, всё, что их продукты НЕ обнаружили отсылается им если другие вендоры эти файлы детектили как зловреды.

2) То, что не детектится никем признаётся мусором и НЕ учитывается в результатах.

3) Кроме того, файлы, которые признаются самими вендорами как непригодные тоже не учитываются в результатах.

4) Результаты тесты корректируются на основании 1-3.

Этот процесс происходит ДО ТОГО, как результаты публикуются. Это всё описывается в том же документе по методологии.

P.S.: Надо предполагать, что среди тех файлов, которые продукты успешно обнаружили - тоже полно 'мусора' и 'устаревших сэмплов'?

Paul

[alexgr 556]

да, в свое время Андреас показал некий небольшой набор, который не обнаруживал некоторый продукт. Проверка показала, что некоторые из них - "трупы" (нерабочие), а еще несколько просто ложняк, попавший из карантина других вендоров. Не скажу, что из всего пропущенного все было вот таким, были и реальные пропуски, но цифра весьма изменилась

Но при этом вся коллекция осталась закрытой. У Маркса еще хуже - он ввобще ничего не дает. Приходится верить\не верить на слово

[Olegka-2007 0]

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Но Вы тоже не видели, но у верены в обратном!?

[Deja_Vu 366]

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Не реально большой прирост семплов, наблюдалось у него периодически.