Перейти к содержанию
p2u

AV-Comparatives: Retrospective Test (февраль 2009)

Recommended Posts

p2u

По правилам этого сайта нельзя давать прямую ссылку на результаты. Поэтому: Web Site Main.

В разделе Comparatives/Reviews - Main Tests найдёте 21 On-demand comparative February 2009 Report (PDF).

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... :wacko:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Интересно, что у него за коллекция чистых файлов,

С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление :)

Зато порадовала McAfee с Artemis, хотя, технология не нова, если не ошибаюсь, - "коллективный разум" Панды?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... wacko.gif
С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление smile.gif

Расхождение по Sophos вполне объяснимы. Как обычно все дело в методологии. Мы брали читые файлы, загруженные в сеть (на download.com) в период проведения проактивного теста. Вендоры не могли заточить свои продукты под эти фалсы, у них не было шансов. Можно сказать, что это "проактивные фалсы".

В тесте Клименти антивирусы прогонялись по какой-то коллекции подготовленной под тест до его старта, а тут уже как повезет уже ... кто подсуетился, тот и меньше фалсит ;) Это раз.

Клиенти тестит Sophos c отключенным детектом подозрительных файлов. Для интереса они включили этот детект и получили 68 фалсов вместо 5. Там это написано на стр. 12, так что расхождений нет и Андреас не ошибся.

Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Это вы, возможно, неправильно поняли. Там говорится, что все продукты кроме Sophos тестировались с максимальными настройками (вторая строчка под 'comments'):

Comments

As almost all products run nowadays in real life with highest protection settings by default or switch automatically to highest settings in case of a detected infection, we tested all products with highest settings (except Sophos).

(подчёркивание их)

и потом перечисляется какие продукты по умолчанию какие настройки применяют, и какие именно вендоры уже в прошлом году просили тестировать именно с максимальными настройками. Например: по умолчанию Касперский работает с Low Heuristics, но в тесте тестировали продукт с High Heuristics по просьбе же ЛК. Только Sophos настаивала на то, чтобы тестировали их продукт с настройками по умолчанию, что тестеры и сделали.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Интерпретация результатов убийственная. Касперский пропустил почти в 10 (!!!) раз больше, чем Авира. При этом показал 14 фолсов, а Авира - 24. И после этого ему дают advansed+, а Авире - фиг с маслом. Тут не просто логики нет - совести ни на грош.

После этого Клементиевские дипломы для меня не существуют.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

none or few: 0-3

few: 4-15

many: 16-100

very many: 101-500

crazy many: over 500

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них. Не зря же Sophos настаивала на тестирование их продукта с настройками по умолчанию...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них.

Paul

Пауль, да я все понимаю. Ну, что можно сказать? Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Skeptic

Коллекция в 1 млн+ файлов позволяет считать не в штуках, а в процентах.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Потому что менее фолсивый. Порог фолсов - это очень верный ход.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Ну да. Но мне обидно за Клементи, я уважаю его тесты. И вдруг такие ляпы - видны невооруженным глазом. Мне и раньше казалось, что в интерпретациях своих он сознательно задвигает немецкие антивири (что в 2006, когда он по итогам года предпочел НОД ГДАТЕ, хотя она явно лучше результаты показала, что в последних тестах, когда Авира страдает). Очевидно, чтобы его не обвинили в землячестве... Может быть, и глупо, конечно, но такие мысли возникают.

А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Это риск когда вендор сам просит тестировать его продукт с максимальными настройками - сам он себе злобный буратино. Расширенные настройки, да, но у Авиры эвристика должна быть на среднем уровне (так по умолчанию). Думаю, что детект будет ненамного хуже. А теперь получается, что наказали за жадность...

P.S.: Вообще-то надо было тестировать ВСЕ продукты с настройками по умолчанию - так средний клиент их дома использует. А так получается опять пустая показуха; технически продукты на что-то способны, но средний клиент использовать этот потенциал всё равно не будет. Нереальные результаты в нереальных условиях - так всегда на таких тестах...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вставлю свои 5 копеек:

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор. И не только потому что там старье - а как раз потому, что там действительно полно мусора. Единственная цель для которой они могут использоваться - пиар. Учитывая результаты всех антивирусов от 90%, хотя реально эта цифра совсем далека от таких значений и никоим образом не позволяет сделать вывод о эффективности антивируса.

В принципе, даже от ретроспективных тестов толку мало...в частности проводимых с той методологией, которая используется Клементи. В итоге, учитывая, что на данный момент у Клементи кроме on-demand и retrospective других тестов нет, видна его попытка что-то изменить - появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование и тест на лечение активного заражения. Но мне что-то подсказывает, что будет разработана такая методология, что и в этих тестах большинство продуктов покажет хорошие и отличные результаты.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
все продукты кроме Sophos тестировались с максимальными настройками

У многих написано ровно следующее:

.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор.

Полностью согласен. Такие тесты сейчас реально ничего не показывают. Кроме того, используемая в них коллекция всегда вызывала кучу вопросов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
У многих написано ровно следующее:
.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Ответ можно легко угадать если цитировать и при этом не опускать глагол 'runs' - в present simple (то есть ВСЕГДА, как правило): уже по умолчанию работает с максимальными настройками). ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Нет не странно! Я привел Вам это утверждение не для того, чтобы показать какой Каспер хороший! Я хотел показать, что ни Вы ни я не знаем состав этой коллекции!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Я хотел показать, что ни Вы ни я не знаем состав этой коллекции

Да. Когда тест невоспроизводим, он всегда вызывает сомнение.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование

Динамика там стартует в апреле, длиться будет полгода и по цене, которая мне не по карману. :(

Мое мнение такое - тесты такого рода ни о чем.

И моё тоже. Мусорное пиар-тестирование на палёных зловредах, которыми давно никто не пользуется из непонятно каких источников (коллекция закрыта).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Вендоры ДОЛЖНЫ знать, потому что:

1) по правилам, всё, что их продукты НЕ обнаружили отсылается им если другие вендоры эти файлы детектили как зловреды.

2) То, что не детектится никем признаётся мусором и НЕ учитывается в результатах.

3) Кроме того, файлы, которые признаются самими вендорами как непригодные тоже не учитываются в результатах.

4) Результаты тесты корректируются на основании 1-3.

Этот процесс происходит ДО ТОГО, как результаты публикуются. Это всё описывается в том же документе по методологии.

P.S.: Надо предполагать, что среди тех файлов, которые продукты успешно обнаружили - тоже полно 'мусора' и 'устаревших сэмплов'? :rolleyes:

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

да, в свое время Андреас показал некий небольшой набор, который не обнаруживал некоторый продукт. Проверка показала, что некоторые из них - "трупы" (нерабочие), а еще несколько просто ложняк, попавший из карантина других вендоров. Не скажу, что из всего пропущенного все было вот таким, были и реальные пропуски, но цифра весьма изменилась

Но при этом вся коллекция осталась закрытой. У Маркса еще хуже - он ввобще ничего не дает. Приходится верить\не верить на слово

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Но Вы тоже не видели, но у верены в обратном!?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Не реально большой прирост семплов, наблюдалось у него периодически.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

×