Перейти к содержанию
p2u

AV-Comparatives: Retrospective Test (февраль 2009)

Recommended Posts

p2u

По правилам этого сайта нельзя давать прямую ссылку на результаты. Поэтому: Web Site Main.

В разделе Comparatives/Reviews - Main Tests найдёте 21 On-demand comparative February 2009 Report (PDF).

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов

Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... :wacko:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Интересно, что у него за коллекция чистых файлов,

С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление :)

Зато порадовала McAfee с Artemis, хотя, технология не нова, если не ошибаюсь, - "коллективный разум" Панды?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Интересно, что у него за коллекция чистых файлов, что Софос на втором месте по минимальным ложным срабатываниям... wacko.gif
С одной стороны - то же самое можно сказать про результаты последнего теста Symantec на АМ, с другой - столь малое кол-во фолсов у Sophos действительно вызывает удивление smile.gif

Расхождение по Sophos вполне объяснимы. Как обычно все дело в методологии. Мы брали читые файлы, загруженные в сеть (на download.com) в период проведения проактивного теста. Вендоры не могли заточить свои продукты под эти фалсы, у них не было шансов. Можно сказать, что это "проактивные фалсы".

В тесте Клименти антивирусы прогонялись по какой-то коллекции подготовленной под тест до его старта, а тут уже как повезет уже ... кто подсуетился, тот и меньше фалсит ;) Это раз.

Клиенти тестит Sophos c отключенным детектом подозрительных файлов. Для интереса они включили этот детект и получили 68 фалсов вместо 5. Там это написано на стр. 12, так что расхождений нет и Андреас не ошибся.

Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вообще почитайте на стр. 5 настройки для каждого продукта, там все очень неровно. В какие-то антивирусах настройки на максимум выставлены, в других - на дефолте, в третьих - какие-то рекомендованные вендором.

Это вы, возможно, неправильно поняли. Там говорится, что все продукты кроме Sophos тестировались с максимальными настройками (вторая строчка под 'comments'):

Comments

As almost all products run nowadays in real life with highest protection settings by default or switch automatically to highest settings in case of a detected infection, we tested all products with highest settings (except Sophos).

(подчёркивание их)

и потом перечисляется какие продукты по умолчанию какие настройки применяют, и какие именно вендоры уже в прошлом году просили тестировать именно с максимальными настройками. Например: по умолчанию Касперский работает с Low Heuristics, но в тесте тестировали продукт с High Heuristics по просьбе же ЛК. Только Sophos настаивала на то, чтобы тестировали их продукт с настройками по умолчанию, что тестеры и сделали.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Интерпретация результатов убийственная. Касперский пропустил почти в 10 (!!!) раз больше, чем Авира. При этом показал 14 фолсов, а Авира - 24. И после этого ему дают advansed+, а Авире - фиг с маслом. Тут не просто логики нет - совести ни на грош.

После этого Клементиевские дипломы для меня не существуют.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

none or few: 0-3

few: 4-15

many: 16-100

very many: 101-500

crazy many: over 500

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них. Не зря же Sophos настаивала на тестирование их продукта с настройками по умолчанию...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
@ Skeptic

Methodology (документ .pdf, стр. 14)

У них такая система с фолсами:

Естественно, если у определённого продукта 'many', то тогда он уже не может быть признан из лучших, даже если детект 100%. Таковы правила у них.

Paul

Пауль, да я все понимаю. Ну, что можно сказать? Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Если в рамках этих правил возникают абсурдные ситуации - значит, правила идиотские, и их надо менять.

Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Skeptic

Коллекция в 1 млн+ файлов позволяет считать не в штуках, а в процентах.

И все равно непонятно, почему середнячок по детекту Касперский получил advanced+

Потому что менее фолсивый. Порог фолсов - это очень верный ход.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Эх... Вы же сами свой продукт знаете? Какая на самом деле разница? ;)

Paul

Ну да. Но мне обидно за Клементи, я уважаю его тесты. И вдруг такие ляпы - видны невооруженным глазом. Мне и раньше казалось, что в интерпретациях своих он сознательно задвигает немецкие антивири (что в 2006, когда он по итогам года предпочел НОД ГДАТЕ, хотя она явно лучше результаты показала, что в последних тестах, когда Авира страдает). Очевидно, чтобы его не обвинили в землячестве... Может быть, и глупо, конечно, но такие мысли возникают.

А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u

@ Skeptic

Это риск когда вендор сам просит тестировать его продукт с максимальными настройками - сам он себе злобный буратино. Расширенные настройки, да, но у Авиры эвристика должна быть на среднем уровне (так по умолчанию). Думаю, что детект будет ненамного хуже. А теперь получается, что наказали за жадность...

P.S.: Вообще-то надо было тестировать ВСЕ продукты с настройками по умолчанию - так средний клиент их дома использует. А так получается опять пустая показуха; технически продукты на что-то способны, но средний клиент использовать этот потенциал всё равно не будет. Нереальные результаты в нереальных условиях - так всегда на таких тестах...

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
А насчет Каспера - он и фолсов показал порядком - 14 шт, и по детекту с каждым годом все хуже... Дележ 9-10 места из 15-ти - и высшая награда??? Не смешите меня...

Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
Может немного не в тему, но вот как Е.К. комментировал ответ на вопрос:

Когда начнем завоевывать первые места в тестах Клементи?

"В текущих условиях проведения тестов - никогда. Поскольку в этих тестах слишком много мусора - наример, битые файлы, чистые китайские BHO и прочее, что детектить не нужно. Некоторые антивирусы (например, Авира) детектят "всё что шевелится" - потому они и покрывают практически 100% детектом "помойки" типа av-comparatives. А поскольку в Китае (и многих других странах) их нет - то и проблем с фальсами у них там тоже нет"

http://forum.kasperskyclub.ru/index.php?sh...amp;#entry67324

Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вставлю свои 5 копеек:

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор. И не только потому что там старье - а как раз потому, что там действительно полно мусора. Единственная цель для которой они могут использоваться - пиар. Учитывая результаты всех антивирусов от 90%, хотя реально эта цифра совсем далека от таких значений и никоим образом не позволяет сделать вывод о эффективности антивируса.

В принципе, даже от ретроспективных тестов толку мало...в частности проводимых с той методологией, которая используется Клементи. В итоге, учитывая, что на данный момент у Клементи кроме on-demand и retrospective других тестов нет, видна его попытка что-то изменить - появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование и тест на лечение активного заражения. Но мне что-то подсказывает, что будет разработана такая методология, что и в этих тестах большинство продуктов покажет хорошие и отличные результаты.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
все продукты кроме Sophos тестировались с максимальными настройками

У многих написано ровно следующее:

.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Мое мнение такое - тесты такого рода ни о чем. Они сами по себе не несут никакой полезной информации и ничего не отражают, кроме разве что способности детектирования устаревших образцов вредоносных программ. Можно сказать мусор.

Полностью согласен. Такие тесты сейчас реально ничего не показывают. Кроме того, используемая в них коллекция всегда вызывала кучу вопросов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
У многих написано ровно следующее:
.. with highest setting by default.

Так с максимальными или с настройками по умолчанию? :D

Ответ можно легко угадать если цитировать и при этом не опускать глагол 'runs' - в present simple (то есть ВСЕГДА, как правило): уже по умолчанию работает с максимальными настройками). ;)

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Ну, Касперский лицо заинтересованное, странно на него ссылаться - он же должен как-то оправдаться: результаты год от года все хуже. К тому же 4 года назад его продукт был именно у Клементи лучший - что-то я не помню, чтобы он ругал тестовые базы. По-моему, это просто некрасиво как-то - занять десятое место и говорить - мы все равно лучшие, это набор тестов виноват.

Да и у Маркса он далеко не первый, и в других тестах.

Нет не странно! Я привел Вам это утверждение не для того, чтобы показать какой Каспер хороший! Я хотел показать, что ни Вы ни я не знаем состав этой коллекции!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Я хотел показать, что ни Вы ни я не знаем состав этой коллекции

Да. Когда тест невоспроизводим, он всегда вызывает сомнение.

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
появилась на сайте информация о скором появлении новых тестов - уже давно проводимые на нашем портале тесты: динамическое тестирование

Динамика там стартует в апреле, длиться будет полгода и по цене, которая мне не по карману. :(

Мое мнение такое - тесты такого рода ни о чем.

И моё тоже. Мусорное пиар-тестирование на палёных зловредах, которыми давно никто не пользуется из непонятно каких источников (коллекция закрыта).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic

Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Вендоры ДОЛЖНЫ знать, потому что:

1) по правилам, всё, что их продукты НЕ обнаружили отсылается им если другие вендоры эти файлы детектили как зловреды.

2) То, что не детектится никем признаётся мусором и НЕ учитывается в результатах.

3) Кроме того, файлы, которые признаются самими вендорами как непригодные тоже не учитываются в результатах.

4) Результаты тесты корректируются на основании 1-3.

Этот процесс происходит ДО ТОГО, как результаты публикуются. Это всё описывается в том же документе по методологии.

P.S.: Надо предполагать, что среди тех файлов, которые продукты успешно обнаружили - тоже полно 'мусора' и 'устаревших сэмплов'? :rolleyes:

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

да, в свое время Андреас показал некий небольшой набор, который не обнаруживал некоторый продукт. Проверка показала, что некоторые из них - "трупы" (нерабочие), а еще несколько просто ложняк, попавший из карантина других вендоров. Не скажу, что из всего пропущенного все было вот таким, были и реальные пропуски, но цифра весьма изменилась

Но при этом вся коллекция осталась закрытой. У Маркса еще хуже - он ввобще ничего не дает. Приходится верить\не верить на слово

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Но Вы тоже не видели, но у верены в обратном!?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Вот интересно: если коллекцию никто не знает и не видел, тогда откуда у многих здесь твердая уверенность, что там полно мусора и устаревших сэмплов?

Кстати, в отчете приведена структура тестовой базы.

Не реально большой прирост семплов, наблюдалось у него периодически.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.11.7
      ---------------------------------------------------------
       o Твики 39 и 40 обновлены и теперь включают ведение DNS лога.
         В uVS добавлен раздел "DNS лог", в нем находятся адреса, которые запрашивали процессы с момента загрузки системы,
         в окне информации для каждого адреса указан процесс, его pid, дата обращения к DNS и результат, если он был, промежуточные адреса
         в список не включены. Например при запросе IP адреса CXCS.MICROSOFT.NET будет получен адрес CXCS.MICROSOFT.NET.EDGEKEY.NET,
         который в свою очередь будет ссылаться например на E3230.B.AKAMAIEDGE.NET, в итоге в список попадет лишь исходный адрес CXCS.MICROSOFT.NET,
         промежуточные адреса будут отфильтрованы.
         Этот раздел поможет в выявлении зловредов/майнеров и руткитов подключающихся к определенным адресам.
         (!) После включения функции требуется перезагрузить систему,
         (!) только в этом случае вы получите полную информацию с момента загрузки системы.
         (!) Только для активных и удаленных систем начиная с Vista (NT6.0).
         (!) Включение ведения DNS лога требует дополнительно 512mb на системном диске, этого объема хватает на 30-50 минут,
         (!) поэтому рекомендуется проводить анализ или создание образа сразу после перезагрузки.
    • santy
      да, уж. пишут с ошибками, а туда же - про обслуживание на высшем уровне
    • akoK
    • PR55.RP55
      Предлагаю создать новую базу  SHA1(+ ) <   > ЭЦП Это не база проверенных файлов... Это база проверенных файлов с ЭЦП. т.е. На системе №1 Проверяем файл ( ЭЦП - проходит проверку ) > SHA1 файла добавляется в базу  SHA1(+ ) > Оператор переходит к системе №2 и проверяет ЭЦП ... по базе SHA1(+). Почему по базе... Возможна ли проверка SHA2  на WINDOWS XP  и  т.д ;  На системах без обновлений с повреждённым каталогом ЭЦП ? А так...  Программа вычисляет SHA1 файла  > SHA1  проверяется по базе SHA1(+ ) ... > ЭЦП есть в базе = подтверждение цифровой. + Выигрыш по времени при проверке. Да,  подпись могут отозвать и т.д.  Но...  
    • santy
      это не нагромождение, это осознанный поиск. который не требует дополнительного программирования новых функций. пока что на VT видим, что функция поиска выполняется по хэшу. Если в API на VT есть возможность поиска по цифровой, почему бы и нет. + надо смотреть другие базы с сэмплами, которые предоставляют функции поиска через API public - есть там возможность поиска по цифровой или тоже только по хэшу, а пока что только поиск через Google. SHA1 как раз вещь постоянная для файла, а вот цифровые левые быстро отзываются. (и злоумышленники будут вынуждены подписывать свои файлы уже другой цифровой). если найден вредоносный файл с некоторой цифровой, и так уже понятно, что цифровую заносить в blacklist, и далее, уже все файлы с данной цифровой попадут в подозрительные и вирусы на других машинах.
×