Перейти к содержанию
Danilka

AV-comparatives.org: Performance Test Internet Security Suites August 2011

Recommended Posts

Сергей Ильин

А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Не хорошо критиковать работу других, особенно коллег, но просто неправильно будет оставаться в стороне в данном случае.

Начало в отчете бодрое. Есть отдельные замеры:

1. копирования файлов + повторное

2. кодирования/декодирования музыкальных файлов

3. установки "нескольких программ" (каких точно не нашел)

4. даже измеряется открытие файлов Word и PDF

Для всех этих тестов выставляется оценка fast, very fast и т.п.

А потом самое интересное, рекомендую посмотреть отчет.

av_comparatives_performance.PNG

Как вам методика, все ОК?

Ну и на сладенькое, конечно, все кроме аутсайдеров маргиналов (Webroot, PC Tools) стали Advanced+ или Advanced.

post-4-1313574795_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Я читал, тоже на это обратил внимание, но т.к. это настолько хреново сделанный тест, не несущий абсолютно никакой полезной информации, то даже не стал писать. Замерили бы место на диске которое занимает ав, толку было бы столько же, т.е. 0.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Или тесты этой лаборатории по дефолту "правильные"?smile.gif

У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А чего никто не возмущается как же так AV-comparatives.org смешали в кучу все измерения и весьма странным образом к тому же? Или тесты этой лаборатории по дефолту "правильные"?:)

Где Олег?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
У теста даже название неверное. Думаю всем потому и было плевать и для всех он бесполезен.

По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Для вендоров-то в нем есть смысл. Для маркетинга, конечно.

Какой же, интересно? Все получили по Advanced(+) и поэтому рады? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ну так и сделают очередную новость "Бла-бла-бла высшую награду бла-бла-бла".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
По самым скромным подсчетам этот "бесполезный" тест обошелся вендорам суммарно в несколько десятков тыс. зелени. ;)

Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Суммарно - наверное. Все вендоры платят одинаковую сумму за участие в тесте. Т.к. участников много то суммы небольшие, к тому же тест идет как часть большой годичной программы тестирования

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
но не отказываться же от участия в тесте..

А то MS не будет считать за антивирус. :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вот это уже интересно. А можно увидеть эти подсчеты, и вообще сколько за тесты платят то вендоры у этих и других тестеров?

Не буду голословным в указании точных цифр, но каждый вендор платит за тест (или за год ) точно не одну и не две тыс. зеленых, умножаем на количество участников и получаем бюджет тестирования.

Да, измерение странное, результаты странные, методология странная, но не отказываться же от участия в тесте..

К сожалению, это издержки бизнес-модели. Андреасу нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

А то MS не будет считать за антивирус.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

А, ты наверно не в курсе. Тогда Олега процитирую:

По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
По критериям Microsoft к антивирусу выставляются следующие требования:

a.If you are using your own antimalware engine, you must pass VB100 and meet at least one of the following:

• ICSA Labs - Pass

• West Coast Labs - Pass

• AV-Test.de – 90% or higher

• AV-Comparitives – 90% or higher

Зы. Доктор-то оказывается не антивирус-).

Великолепно! :) Почти как оценка вредоносности по вирустотал

Надеемся, вендоры обратят внимание на данные тесты, а мы будем тщательно следить за новинками антивирусной индустрии и с нетерпением ожидаем супер мега комбайна с новейшими сверхсекретными технологиями "grand mega premium internet security 360 2012"

Кто же будет в лидерах? смотрите в следующих тестах!

По вопросам рекламы и оплаты тестов обсуждать в личке

Отличная инициатива и почти идеальный тест с точки зрения методологии! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
сам ржу.

кстати, никто не знает, почему в августовском тесте av-comparatives на медальках написано JUL 2011? Наверно очень сложный тест был, задержка результатов и комментариев вендоров, ах как это знакомо здешним юзерам ;)

Тест проходил в июле, а выход результатов действительно пару раз переносился.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Согласен, методологию надо будет доработать :), но в данном случае я взял список участников из августовского теста AV-comparatives.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
strat

Ошибка в методе. Ты сравниваешь между собой IS и Total. Так что от ЛК должен был быть Pure. =)

Мы обсудили этот тест с продуктовыми менеджерами, и пришли к выводу что надо улучшать продукты, поэтому к следующему тесту будем более готовы. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
К сожалению, это издержки бизнес-модели. Пацанам нужно не результаты выдать пользователям для ориентира, а угодить участникам теста. Отсюда почти все получают высокие награды. Система подсчета баллов/итогов при этом такое ощущение, что подгоняется как раз для того, чтобы все были хорошие. Это не только в этом тесте видно, я ранее уже про динамику тоже самое отмечал.

Даня, поясни, я видимо что-то не знаю :) Или это юмор такой? :)

Действительно, насколько проще угодить единственному пацану. И модели при делах и пацан счастлив.

Ну вот я бесконечно тупой.

Ну как так, что в ваших тестах постоянно касперский на первых местах, ну и иногда на вторых, а вот в других, признанных мировым сообществом, порой и часто просто он бесконечно сосёт.

Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NOSS
Вот я даже не сомневаюсь, что они нашу расийскую сущность презирають, этакие потрохи.

А почему нет? На спортивных соревнованиях очень часто незаслуженно засуживают, достаточно вспомнить проблемы с допингом и т.п...

P.S. Ну прямо анекдот: все призовые места в биатлоне заняли астматики норвежцы ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Booi77Casino
    • Booi77Casino
    • AM_Bot
      Российский разработчик систем информационной безопасности «Гарда Технологии» (входит в «ИКС Холдинг») выпустил пятую версию аппаратно-программного комплекса «Периметр». Комплекс представляет собой решение для защиты от сетевых атак отказа в обслуживании (DDoS-атаки) на сетях оператора связи.    ВведениеНовая функциональность АПК «Периметр» 5.0Обнаружение атак и сокращение времени обнаруженияОбъединение векторов DDoS-атакМногоуровневое подавление DDoS-атакИндивидуальная настройка методов подавления различных векторов атакРабота с трафиком HTTPSВзаимодействие с клиентским устройствомРасширение отчетной информацииПолная поддержка «горячего» резервированияТранзакционная модель изменения конфигурацииОбратное разрешение IP-адресовВыводы ВведениеПятая версия аппаратно-программного комплекса «Периметр» получила обновленные механизмы обнаружения и подавления, позволяющие эффективно реагировать на современные угрозы DDoS-атак. Новая функциональность АПК «Периметр» 5.0:обнаружения DDoS-атак на основе сигнатур;оптимизация механизмов и сокращение времени обнаружения атаки до 20 секунд;объединение векторов, идущих на один защищаемый объект, в рамках одной DDoS-атаки;многоуровневое подавление DDoS-атаки;индивидуальная настройка методов подавления векторов;расшифровка HTTPS-трафика и применение к нему методов фильтрации протокола HTTP;расширение взаимодействия операторского и клиентского устройства;расширение отчётной информации;полная поддержка «горячего» резервирования;транзакционная модель изменения конфигурации;возможность обратного разрешения IP-адресов источников и назначений трафика атаки. Обнаружение атак и сокращение времени обнаруженияВ новой версии обнаружение атак осуществляется на основе сигнатур, создаваемых администратором комплекса. Каждая сигнатура описывает вектор атаки: набор характеристик трафика атаки на специальном языке описания сигнатур.В качестве вектора атаки может быть задан как определенный класс атак, например, TCP flood attack или UDP amplification attack, так и конкретные атаки в пределах одного класса, например, NTP amplification, SSDP amplification или ping flood (ICMP echo-request flood), Smurf/Amplification attack, Common ICMP flood.Администратору комплекса доступно 100 сигнатур, которые могут быть адаптированы с учетом потребностей защищаемых клиентов, а индивидуальная настройка пороговых значений трафика для отдельных векторов атак позволяет уменьшить вероятность ложных обнаружений, учитывая характер трафика защищаемых клиентов.Комплекс позволяет обнаруживать DDoS-атаку при значительном превышении пороговых значений трафика не позднее чем через 20 секунд после поступления информации о трафике атаки. Объединение векторов DDoS-атакОбнаруженные комплексом векторы атак, направленные на один узел сети (или одну группу узлов сети при работе детектора в режиме объединения трафика хостов), могут быть объединены в рамках одной атаки. Информация как по трафику атакуемого узла (группы узлов), так и по выявленным векторам атак отображается на одном экране, что позволяет определить характеристики трафика, которые вносят наибольший вклад в трафик атаки, в том числе и по отдельным векторам атак. Эта информация позволяет оптимально подавлять атаки, минимизируя влияние на трафик легитимных пользователей. Рисунок 1. Объединение векторов DDoS-атак  Многоуровневое подавление DDoS-атакДля подавления атак используется система фильтрации комплекса и возможности маршрутизирующего оборудования (BGP FlowSpec и Blackhole). Новая версия позволяет использовать эти инструменты совместно как в ручном, так и в автоматическом режимах. Это дает возможность организовать многоуровневую защиту клиента: при различных уровнях опасности атаки будут использоваться различные инструменты подавления.Например, атаки на защищаемый ресурс, не превышающие 10 Гбит/с, фильтруются на системе очистки. При увеличении объема атаки до 20 Гбит/с, фильтрация выполняется с применением инструмента BGP FlowSpec. При увеличении объема атаки свыше 80 Гбит/с, применяется инструмент Blackhole. Индивидуальная настройка методов подавления различных векторов атакВ новой версии расширены возможности автоматического противодействия DDoS-атакам. Доступен выбор способов индивидуальной фильтрации для каждой сигнатуры (вектора) атаки. При обнаружении вектора будут включаться только те методы, которые эффективны при его подавлении.Например, если атака начинается с вектора TCP SYN flood, то при фильтрации комплекс задействует настроенные для этого вектора атаки методы (например, метод syn-cookie). При развитии атаки и появлении дополнительного вектора NTP-amplification комплекс добавит к фильтрации методы по этому вектору (например, фильтрация по протоколу и порту источника на системе фильтрации или правила BGP-Flowspec). При завершении вектора атаки, методы по нему будут выключены.В случае необходимости, пользователь может вмешаться в процесс автоматической фильтрации и внести дополнительные изменения.Данные механизмы позволяют выполнять фильтрацию, которая гибко адаптируется под развитие DDoS-атаки. Работа с трафиком HTTPSАПК «Периметр»  позволяет эффективно защищать web-серверы как от объемных DDoS-атак, направленных на исчерпание полосы пропускания каналов связи или ресурсов сетевого оборудования, так и от атак уровня приложений, направленных на ресурсы самого web-сервера, в том числе и от медленных атак. Поскольку подавляющее большинство web-серверов использует в качестве протокола взаимодействия с клиентом HTTPS, в новой версии реализован механизм расшифровки HTTPS-трафика. Это позволяет применять методы анализа и фильтрации протокола HTTP к расшифрованному трафику.Например, если защищаемый ресурс предоставляет web-сервис по протоколу HTTPS, то для защиты этого сервиса можно использовать расшифровку трафика и применение к нему методов аутентификации пользователей (HTTP-аутентификация), а также ведение HTTP-журнала и построение статистики запросов и ответов для определения источников, атакующих сервис. Взаимодействие с клиентским устройствомУправление операторским комплексом осуществляет команда инженеров оператора связи и решает следующие задачи по защите от DDoS-атак:предоставление клиентам услуг защиты;защита большого количества клиентов;подавление атак большого объема на системе очистки и границе сети. Рисунок 2. Операторский комплекс  Если у клиента оператора связи есть потребность самостоятельно выполнять полную или частичную защиту собственных ресурсов, а также иметь возможность при необходимости воспользоваться ресурсами операторского комплекса, он может воспользоваться решением «Скаут», разработанным в ООО «Гарда Технологии». Рисунок 3. Схема работы решения «Скаут»  Решение «Скаут»:позволяет выполнять защиту на этапе установки TCP-соединений путем полного проксирования с минимальной задержкой на аутентификацию;аналогично операторскому комплексу, «Скаут» выполняет защиту шифрованного трафика как за счет контроля устанавливаемых SSL-соединений, так и за счет расшифровки SSL-трафика и применения к нему различных методов фильтрации протоколов уровня приложений: HTTP, DNS, SIP и т.д.находится под управлением клиента, что позволяет избежать передачи конфиденциальной информации, например, сертификатов безопасности web-серверов третьим лицам;может взаимодействовать с операторским АПК «Периметр» в случае необходимости подавления атак большого объема с использованием центров очистки оператора связи, а также инструментов подавления на границе сети оператора. Рисунок 4. Взаимодействие «Скаута» и оператора связи  Атаки небольшого объема фильтруются на стороне клиента. Рисунок 5. Фильтрация на стороне клиента  В случае появления атак, фильтрация которых требует больших ресурсов, отправляется запрос операторскому комплексу. Рисунок 6. Операторский комплекс выполняет фильтрацию  В новой версии операторский комплекс кроме запроса на подавление атаки через центр очистки оператора принимает от клиентского устройства:области адресного пространства клиента, к которым необходимо применить фильтрацию;черный и белый списки адресов, которые могут быть использованы при фильтрации в центре очистки оператора. Расширение отчетной информацииВ набор аналитических отчетов АПК «Периметр» 5.0 добавлены отчеты:по аппроксимации объемов IPv6-трафика на будущие периоды времени;о транзитном трафике (по приложениям, странам, сетевым элементам, протоколам, автономным системам);о трафике виртуальных сетей (VPN). Полная поддержка «горячего» резервированияКаждый модуль АПК «Периметр» обладает возможностью «горячего» резервирования. При отказе модуля, происходит автоматическое переключение на резервный. Это позволяет обеспечивать высокую отказоустойчивость комплекса. Транзакционная модель изменения конфигурацииВ АПК «Периметр» добавлен режим работы, в котором каждое изменение конфигурации фиксируется для подтверждения администраторами комплекса. Изменения могут быть применены или отменены. Транзакционная модель позволяет контролировать изменения, вносимые в конфигурацию комплекса, не допуская применение случайных или недопустимых изменений, а также выполнять одновременное применение изменений, сделанных через графический интерфейс. Например, создание защищаемого объекта, настройка для него параметров детектирования и подавления, настройка уведомлений для клиента, - всё это будет применено в рамках одного изменения конфигурации. Обратное разрешение IP-адресовТакая функция позволяет получать дополнительную информацию об IP-адресах, используя сервисы DNS и WHOIS для источников и получателей трафика. Например, для IP-адреса источника можно получить полное доменное имя, используя сервис DNS, а также информацию о регистраторе и принадлежности к сетевому префиксу, используя сервис WHOIS. ВыводыАПК «Периметр» позволяет обнаруживать DDoS-атаки на сетях операторского класса, корпоративных сетях, сетях центров обработки данных с объемами сетевого трафика от единиц Гбит/с до десятков Тбит/с.Кластеры очистки, входящие в состав АПК «Периметр», позволяют защищаться от DDoS-атак объемом до 640Гбит/с. Читать далее
    • Alushaa
      Весьма удобное приложение, с помощью  которого можно смотреть расписание электричек. Это очень интересный вариант, можете присмотреться, он действительно крутой и я там все спокойно скачиваю)
    • PR55.RP55
      SQx То, что я выше написал сделать можно -  если есть доступ к PC. Однако не при работе со скриптом. Я  для Demkd  написал. В скрипт добавлять команды типа: adds criterion delref   fuckyoumm2_filter Checks the list by criterion т.е. добавлен критерий ( с выбором типа команды ) >  проверяется список > найденный по критерию объект удаляется.      
×