Перейти к содержанию
Danilka

AV-comparatives.org: Performance Test Internet Security Suites August 2011

Recommended Posts

Сергей Ильин

А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Не хорошо критиковать работу других, особенно коллег, но просто неправильно будет оставаться в стороне в данном случае.

Начало в отчете бодрое. Есть отдельные замеры:

1. копирования файлов + повторное

2. кодирования/декодирования музыкальных файлов

3. установки "нескольких программ" (каких точно не нашел)

4. даже измеряется открытие файлов Word и PDF

Для всех этих тестов выставляется оценка fast, very fast и т.п.

А потом самое интересное, рекомендую посмотреть отчет.

av_comparatives_performance.PNG

Как вам методика, все ОК?

Ну и на сладенькое, конечно, все кроме аутсайдеров маргиналов (Webroot, PC Tools) стали Advanced+ или Advanced.

post-4-1313574795_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Я читал, тоже на это обратил внимание, но т.к. это настолько хреново сделанный тест, не несущий абсолютно никакой полезной информации, то даже не стал писать. Замерили бы место на диске которое занимает ав, толку было бы столько же, т.е. 0.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Или тесты этой лаборатории по дефолту "правильные"?smile.gif

У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Где Олег?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Какой же, интересно? Все получили по Advanced(+) и поэтому рады? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ну так и сделают очередную новость "Бла-бла-бла высшую награду бла-бла-бла".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Суммарно - наверное. Все вендоры платят одинаковую сумму за участие в тесте. Т.к. участников много то суммы небольшие, к тому же тест идет как часть большой годичной программы тестирования

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
но не отказываться же от участия в тесте..

А то MS не будет считать за антивирус. :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Не буду голословным в указании точных цифр, но каждый вендор платит за тест (или за год ) точно не одну и не две тыс. зеленых, умножаем на количество участников и получаем бюджет тестирования.

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

К сожалению, это издержки бизнес-модели. Андреасу нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

А то MS не будет считать за антивирус.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

А, ты наверно не в курсе. Тогда Олега процитирую:

По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

Великолепно! :) Почти как оценка вредоносности по вирустотал

Надеемся, вендоры обратят внимание на данные тесты, а мы будем тщательно следить за новинками антивирусной индустрии и с нетерпением ожидаем супер мега комбайна с новейшими сверхсекретными технологиями "grand mega premium internet security 360 2012"

Кто же будет в лидерах? смотрите в следующих тестах!

По вопросам рекламы и оплаты тестов обсуждать в личке

Отличная инициатива и почти идеальный тест с точки зрения методологии! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Тест проходил в июле, а выход результатов действительно пару раз переносился.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Согласен, методологию надо будет доработать :), но в данном случае я взял список участников из августовского теста AV-comparatives.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Мы обсудили этот тест с продуктовыми менеджерами, и пришли к выводу что надо улучшать продукты, поэтому к следующему тесту будем более готовы. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
К сожалению, это издержки бизнес-модели. Пацанам нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Действительно, насколько проще угодить единственному пацану. И модели при делах и пацан счастлив.

Ну вот я бесконечно тупой.

Ну как так, что в ваших тестах постоянно касперский на первых местах, ну и иногда на вторых, а вот в других, признанных мировым сообществом, порой и часто просто он бесконечно сосёт.

Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NOSS
Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

А почему нет? На спортивных соревнованиях очень часто незаслуженно засуживают, достаточно вспомнить проблемы с допингом и т.п...

P.S. Ну прямо анекдот: все призовые места в биатлоне заняли астматики норвежцы ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Dima2_90
      На мой взгляд то, что Process Hacker выгружает антивирусы - явление нормальное, потому что Process Hacker - легитимная программа (по мнению некоторых вендоров -  потенциально опасная), а не троянская, и  команду на выгрузку антивируса даёт сам пользователь ( выбрав процесс в списке и нажимая "Terminate"), то есть это действие (завершение процесса, отвечающего за работу антивируса) санкционировано самим пользователем.
    • rownong
      Здравствуйте. Есть следующая инфраструктура (VPS куплены у хостинг-провайдера).  VPS сервер 1.
      На нем:
      - Несколько баз данных MySQL 
      - Папки (с сайтами, веб-приложениями, скриптами)
      - Установленные программы
      > Панель управления Vesta
      > MySQL-сервер
      > PhpMyAdmin
      > FTP-сервер
      - Задачи крона VPS сервер 2.
      На нем:
      - Asterisk (с конфигурациями) В перспективе VPS сервер 3.
      На нем будет располагаться ERP организации (база данных, бекенд Laravel, фронтенд Vue.js).  Нужно обеспечить безопасность данной IT инфраструктуры, закрыть максимум уязвимостей.
      Чтобы злоумышленники не могли, просмотреть / украсть: пароли в конфигах PHP скриптов, данные БД Таблиц MySQL, не имели доступ к  Asterisk, данным ERP, защита от sql инъекций, DDoS-атак и т.д. Вопросы: 1. В представленной инфраструктуре, каких технические специалисты должны делать аудит ? PHP-программист, системный администратор, или есть отдельные специалисты которые занимаются безопастностью в IT? 2. Я правильно понимаю, что выполнение задачи будет разбито на 2 этапа:
      - аудит (когда будут выписаны замечания)
      - реализация мер по устранению замечаний
      ?? 3. Как выбрать аудиторов?
      Достаточно фрилансеров или нужно обращаться в организацию? 4. Как определить компетенции аудиторов в обеспечении безопасности в IT? 5. Имеет смысл  нанимать сразу 2-х аудиторов?
      Потом реализовывать замечания обоих аудитов? 6. В какой формате проводятся аудиты по безопасности?
      Нужно будет прислать специалистам доступы ко всем системам? 7. Целесообразно делать аудит VPS без аудита офисного железа (компьютеры, роутеры, файловый сервак)?
      Теоретически на компьютерах могут быть уязвимости к вирусам которые доступы крадут от VPS, но проверять еще компы всей организации, сильно увеличит время на аудит.  
    • Draft
      К Сереге лысому, моему другу, приходят и жалуются, мол разводят их как лохов
    • Quincy
      К тебе именно приходит и на сайт жалуется?)))) 
    • PR55.RP55
      https://github.com/dragokas/hijackthis/blob/devel/src/_ChangeLog_ru.txt Стоит прочесть и найти полезное. Типа: Добавлена зачистка зависимостей легитимных служб от удаляемой службы.
      Добавлен запрет программе на перезагрузку серверных ОС с запросом к пользователю сделать это вручную.
      Добавлена проверка типа виртуализации ключей реестра.
×