Перейти к содержанию
Danilka

AV-comparatives.org: Performance Test Internet Security Suites August 2011

Recommended Posts

Сергей Ильин

А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Не хорошо критиковать работу других, особенно коллег, но просто неправильно будет оставаться в стороне в данном случае.

Начало в отчете бодрое. Есть отдельные замеры:

1. копирования файлов + повторное

2. кодирования/декодирования музыкальных файлов

3. установки "нескольких программ" (каких точно не нашел)

4. даже измеряется открытие файлов Word и PDF

Для всех этих тестов выставляется оценка fast, very fast и т.п.

А потом самое интересное, рекомендую посмотреть отчет.

av_comparatives_performance.PNG

Как вам методика, все ОК?

Ну и на сладенькое, конечно, все кроме аутсайдеров маргиналов (Webroot, PC Tools) стали Advanced+ или Advanced.

post-4-1313574795_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Я читал, тоже на это обратил внимание, но т.к. это настолько хреново сделанный тест, не несущий абсолютно никакой полезной информации, то даже не стал писать. Замерили бы место на диске которое занимает ав, толку было бы столько же, т.е. 0.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Или тесты этой лаборатории по дефолту "правильные"?smile.gif

У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Где Олег?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Какой же, интересно? Все получили по Advanced(+) и поэтому рады? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ну так и сделают очередную новость "Бла-бла-бла высшую награду бла-бла-бла".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Суммарно - наверное. Все вендоры платят одинаковую сумму за участие в тесте. Т.к. участников много то суммы небольшие, к тому же тест идет как часть большой годичной программы тестирования

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
но не отказываться же от участия в тесте..

А то MS не будет считать за антивирус. :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Не буду голословным в указании точных цифр, но каждый вендор платит за тест (или за год ) точно не одну и не две тыс. зеленых, умножаем на количество участников и получаем бюджет тестирования.

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

К сожалению, это издержки бизнес-модели. Андреасу нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

А то MS не будет считать за антивирус.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

А, ты наверно не в курсе. Тогда Олега процитирую:

По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

Великолепно! :) Почти как оценка вредоносности по вирустотал

Надеемся, вендоры обратят внимание на данные тесты, а мы будем тщательно следить за новинками антивирусной индустрии и с нетерпением ожидаем супер мега комбайна с новейшими сверхсекретными технологиями "grand mega premium internet security 360 2012"

Кто же будет в лидерах? смотрите в следующих тестах!

По вопросам рекламы и оплаты тестов обсуждать в личке

Отличная инициатива и почти идеальный тест с точки зрения методологии! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Тест проходил в июле, а выход результатов действительно пару раз переносился.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Согласен, методологию надо будет доработать :), но в данном случае я взял список участников из августовского теста AV-comparatives.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Мы обсудили этот тест с продуктовыми менеджерами, и пришли к выводу что надо улучшать продукты, поэтому к следующему тесту будем более готовы. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
К сожалению, это издержки бизнес-модели. Пацанам нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Действительно, насколько проще угодить единственному пацану. И модели при делах и пацан счастлив.

Ну вот я бесконечно тупой.

Ну как так, что в ваших тестах постоянно касперский на первых местах, ну и иногда на вторых, а вот в других, признанных мировым сообществом, порой и часто просто он бесконечно сосёт.

Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NOSS
Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

А почему нет? На спортивных соревнованиях очень часто незаслуженно засуживают, достаточно вспомнить проблемы с допингом и т.п...

P.S. Ну прямо анекдот: все призовые места в биатлоне заняли астматики норвежцы ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • demkd
      это если пользоваться regedit-ом, впрочем там невозможно обнулить dacl там можно его сделать пустым, что приведет к обратному - недоступности ключа для всех пользователей кроме владельца, если убивать dacl программно то ничего не появляется его просто нет и ключ доступен для всех. Сами исправят когда-нибудь, я им не пользуюсь. Увы, но майнеры работают напрямую с библиотеками amd opencl или с cuda nvidia или просто с opencl какой зацепят включая интеля, через них можно получить общую загрузку gpu для родной карты, но не раскладку по процессам, ну разве что за исключением nvidia quadro у них есть свои бибилиотки и там вроде как можно что-то вытянуть, но опять же только для quadro.
      Да и это не актуально, я набросал на коленке небольшую тестовую утилиту через direct-x, все довольно точно считает и в 10-ке и в 7-ке, вряд ли оно конечно будет работать в XP, но оно и не надо впрочем желающие протестируют, добавлю в след. версии uVS, будет считать аналогично CPU с момента запуска процесса, такой подход майнеров CPU/GPU выявляет замечательно, они грузят постоянно, а значит и процент близкий 100 выходит, на фоне практически нуля для всех остальных процессов.
    • PR55.RP55
      Dragokas Да, сегодня искал по данному вопросу информацию. https://ru.bmstu.wiki/Кража_веб-страниц,_запускаемых_в_браузере_пользователя,_с_использованием_уязвимостей_графического_процессора + Ещё будет полезна информация полученная по:  tasklist  [ Память ] https://docs.microsoft.com/en-us/windows-server/administration/windows-commands/tasklist  
    • Dragokas
      Раз уж в них такие нестыковки по показаниям GPU, проще наверное взять исходники какого-нибудь консольного майнера. Там обычно отображаются и учитываются все такие нагрузки, уже заточена поддержка под несколько видеокарт и даже можно задать ограничения. Можно начать с NiceHashMiner - там внутри папки есть все наиболее популярные майнеры и дальше уже смотреть, у какого из них есть исходник, в крайнем случае списаться с автором.
    • Dragokas
    • demkd
      Сейчас посмотрел в Windows 10 1803, PH показал загрузку, но вот только отличие от реальной более чем в 2 раза xD
      PE показал на процент больше, но считай тоже самое, виндовый диспетчер задач показал менее процента при реальной загрузке близкой к 100%
      Вывод очевиден: надо делать самому с нуля, почитаю что там умеет dx оценю объем работ, если он небольшой то сделаю, если нет то когда-нибудь...

      Посмотрел что показывает PE на Windows 7 с 4-мя картами загруженными майнингом на 100%:
      Как бы он вообще не видит что zecminer64 насилует все 4 карты одновременно


      ProcessHacker повел себя идентично, копипаст рулит, одинаковые ошибки в одинаковых случаях.
×