Перейти к содержанию
Danilka

AV-comparatives.org: Performance Test Internet Security Suites August 2011

Recommended Posts

Z.E.A.

Занятно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Не хорошо критиковать работу других, особенно коллег, но просто неправильно будет оставаться в стороне в данном случае.

Начало в отчете бодрое. Есть отдельные замеры:

1. копирования файлов + повторное

2. кодирования/декодирования музыкальных файлов

3. установки "нескольких программ" (каких точно не нашел)

4. даже измеряется открытие файлов Word и PDF

Для всех этих тестов выставляется оценка fast, very fast и т.п.

А потом самое интересное, рекомендую посмотреть отчет.

av_comparatives_performance.PNG

Как вам методика, все ОК?

Ну и на сладенькое, конечно, все кроме аутсайдеров маргиналов (Webroot, PC Tools) стали Advanced+ или Advanced.

post-4-1313574795_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Я читал, тоже на это обратил внимание, но т.к. это настолько хреново сделанный тест, не несущий абсолютно никакой полезной информации, то даже не стал писать. Замерили бы место на диске которое занимает ав, толку было бы столько же, т.е. 0.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Или тесты этой лаборатории по дефолту "правильные"?smile.gif

У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Где Олег?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Какой же, интересно? Все получили по Advanced(+) и поэтому рады? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ну так и сделают очередную новость "Бла-бла-бла высшую награду бла-бла-бла".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Суммарно - наверное. Все вендоры платят одинаковую сумму за участие в тесте. Т.к. участников много то суммы небольшие, к тому же тест идет как часть большой годичной программы тестирования

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
но не отказываться же от участия в тесте..

А то MS не будет считать за антивирус. :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Не буду голословным в указании точных цифр, но каждый вендор платит за тест (или за год ) точно не одну и не две тыс. зеленых, умножаем на количество участников и получаем бюджет тестирования.

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

К сожалению, это издержки бизнес-модели. Андреасу нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

А то MS не будет считать за антивирус.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

А, ты наверно не в курсе. Тогда Олега процитирую:

По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Это прекрасно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

Великолепно! :) Почти как оценка вредоносности по вирустотал

Надеемся, вендоры обратят внимание на данные тесты, а мы будем тщательно следить за новинками антивирусной индустрии и с нетерпением ожидаем супер мега комбайна с новейшими сверхсекретными технологиями "grand mega premium internet security 360 2012"

Кто же будет в лидерах? смотрите в следующих тестах!

По вопросам рекламы и оплаты тестов обсуждать в личке

Отличная инициатива и почти идеальный тест с точки зрения методологии! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Тест проходил в июле, а выход результатов действительно пару раз переносился.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Согласен, методологию надо будет доработать :), но в данном случае я взял список участников из августовского теста AV-comparatives.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Мы обсудили этот тест с продуктовыми менеджерами, и пришли к выводу что надо улучшать продукты, поэтому к следующему тесту будем более готовы. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
К сожалению, это издержки бизнес-модели. Пацанам нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Действительно, насколько проще угодить единственному пацану. И модели при делах и пацан счастлив.

Ну вот я бесконечно тупой.

Ну как так, что в ваших тестах постоянно касперский на первых местах, ну и иногда на вторых, а вот в других, признанных мировым сообществом, порой и часто просто он бесконечно сосёт.

Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NOSS
Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

А почему нет? На спортивных соревнованиях очень часто незаслуженно засуживают, достаточно вспомнить проблемы с допингом и т.п...

P.S. Ну прямо анекдот: все призовые места в биатлоне заняли астматики норвежцы ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×