Тест быстродействия корпоративных антивирусов (результаты)

[A. 876]

Ладно, зайдем с другой стороны.

Есть доказательства того, что облачные технологии в продуктах реально работали ? Обмен трафиком с серверами был зафиксирован ?

Это я к тому, что "Отключались как обновления антивирусных баз, так и обновления модулей программ." - ну мало ли чего

[mvs 92]

надо учесть если инет при тестировании был через прокси то это тоже могло вызывать задержки в синхронизации с серверами облачных баз.

ну и копирование по сети - что за сетевой ресурс это был? dfs или обычная шара и самое главное был ли на компьютере где находился сетевой ресурс установлен антивирус того же вендора?

у меня не было времени принять обсуждение в методологии тестировния, но чтобы приблизить к реальности тестов один из клиентов надо было сделать с серверной ОС и установленным на него антивирусом того же вендора из этой же линейки, поднять на нем DFS и проводить тесты на копирование коллекции файлов по сети (с сервера на клиент и наоборт).

по поводу 1С в реальных условиях в доверенный зоны вносятся сразу файлы баз данных 1С и файлы логов :

— маски *.md, *.dbf, *.cdx; 1Cv8*.1C? (1Cv8.1CD \ 1Cv8tmp.1CD \ 1Cv8.1CL \ 1Cv8tmp.1CL ; 1Cv8.pfl и 1Cv8.log.)

P.S. KES 8 почему то при отключении использования KSN все равно долбится в инет на эти самые сервера... и вообще если мягко сказать про KES то сыроват он получился.. хотя и задумки хорошие.. у себя на предприятии после проведенных тестов решили не переходить до выхода CF1.

[Kartavenko M.V. 34]

Видишь ли, Илья.

Ситуация когда юзер запускает просто Ворд, а не открывает док-файл (что ведет к открытию Ворда) - мне кажется гораздо более редкой. Вот ты сам говоришь что Ворд по 50 раз в день запускаешь - это что ты имеешь в виду что 50 новых документов там создаешь или все таки открываешь его открывая _файлы_ ?

Соответственно, при старте просто приложения - работают одни проверки. При открытии документа - совсем другие. Вы же свалили это в кучу и вывели среднее по больнице.

Неужели непонятно, xnj например на этом графике, антивирусы при открытии файла тратят меньше времени на проверку, чем при открытии приложения без файла - именно потому что проверяются совсем разные вещи ?

а _как_ они проверются - это совсем отдельный вопрос. ага. о том как куча гавнопродуктов детектит в файлах уязвимость из Duqu - совсем недавно было показано....

Когда приложение запускается несколько раз, то в память подгружаются собственные модули, которые следующие запуски делают быстрее.

Например, если запустить Word несколько раз на машине без антивируса, то второй и последующие запуски будут происходить быстрее. Это видно и из отчета, и можно просто проверить у себя на компьютере. Во многом поэтому времена по открытию файлов меньше. Тут одновременно мы видим и оптимизацию запускаемой программы и замедления от антивируса (и вполне возможную минимизацию проверки только что запущенного и проверенного приложения).

Если бы мы оценивали абсолютные значения, то это было бы не верно. Но в данном случае используется относительная оценка для сравнительного тестирования. Поэтому это правильно.

Хотя соглашусь, что нужно выработать критерии разделения запусков программ на группы - офисные программы, браузеры, "большие" программы; возможно разделить по типам запуска.

Это мысли в копилку для следующего теста.

Ладно, зайдем с другой стороны.

Есть доказательства того, что облачные технологии в продуктах реально работали ? Обмен трафиком с серверами был зафиксирован ?

Это я к тому, что "Отключались как обновления антивирусных баз, так и обновления модулей программ." - ну мало ли чего

Облачные технологии работали. В процессе теста смотрели за трафиком, он был, но был достаточно маленьким. Визуально он увеличивался в процессе активных действий.

На "эталоне" (системе с установленным ПО для тестирования, но без антивирусов) трафик был равен 0.

Возможно правильно в следующих тестах фиксировать и величину трафика, чтобы было четко понятна работа/не работа облака.

надо учесть если инет при тестировании был через прокси то это тоже могло вызывать задержки в синхронизации с серверами облачных баз.

ну и копирование по сети - что за сетевой ресурс это был? dfs или обычная шара и самое главное был ли на компьютере где находился сетевой ресурс установлен антивирус того же вендора?

у меня не было времени принять обсуждение в методологии тестировния, но чтобы приблизить к реальности тестов один из клиентов надо было сделать с серверной ОС и установленным на него антивирусом того же вендора из этой же линейки, поднять на нем DFS и проводить тесты на копирование коллекции файлов по сети (с сервера на клиент и наоборт).

В методологии описано про сетевой ресурс. Была отдельная машина (в методологии это ПК №4) на которую устанавливался Апатч.

[Олег Гудилин 95]

jet, собираем комментарии вендоров и экспертов. В общем дело нескольких дней

Приведу здесь комментарии наших специалистов, которые не были учтены. Возможно пригодится в дальнейшем.

1. В тесте On-access правильнее учитывать результаты повторного сканирования. Как правило, локальные файлы пользователя уже проверены антивирусом и их копирование не приводит к их повторной проверке. Если рассматривать различные методики независимого тестирования (AV-Test.org, Passmark), то на тесте Копирования файлов обычно проводят несколько итераций (от 5 до 7) и в качестве результата берут среднее.

Если рассчитать результаты с учетом повторных 4-х прогонов, то получим следующие результаты:

Dr.Web 38,33%

McAfee 26,25%

Symantec 35,26%

Kaspersky 22,80%

Eset 107,23%

Trend Micro 216,11%

Sophos 292,76%

AVG 330,96%

2. В тесте запуска приложений не совсем корректно выбирать шкалу по худшему результату. Так, если будет сильно отстающий продукт, все остальные продукты получат примерно равное количество балов, что не правильно.

Предлагается использовать фиксированную шкалу с шагом 0,5 (ощутимое для пользователя время) и количество балов рассчитывать относительно чистой системы. Чем меньше результат, тем выше итоговая позиция.

Если подсчитать балы по предложенной методике, то получим:

AVG 292,61

Dr.Web 310,24

Eset 14,54

Kaspersky 127,65

McAfee 40,80

Sophos 134,22

Symantec 133,26

Trend Micro 131,63

[Кирилл Керценбаум 671]

Основная проблема теста подобного обсуждаемому сейчас в том, что, как я и пытался донести в своем комментарии, нельзя подходить как к замерам, так и их трактовке для корпоративных продуктов почти идентично тому что делается для продуктов для домашних пользователей. И вряд ли можно обвинить тут АМ в разработке и проведении некорректного теста, аналогов подобных исследований практически нет, поэтому и устоявшейся методологии не существует. Основная же идея, на которой я продолжаю настаивать, что для корпоративных продуктов не всегда, а точнее практически никогда замедление (но в разумных пределах) не должно влиять на критерии оценки качества, так как любая современная технология защиты требует солидного количества ресурсов, а подход к "убыстрению" корпоративных продуктов путем удаления из них ресурсоемких технологий и преподнесение этого как большое достижение, - является в корне ошибочным. Потому что как результат, надежность подобных продуктов в современных условиях в реальной среде, когда большая часть персонала большинства компаний мало что представляет о компьютерной безопасности, а персонал служб Информационной безопасности мал, если вообще наличествует

Резюмируя - что лучше - быстрое решето или чуть более медленный реальный барьер!? И основное что должно включаться в методику подобных тестов - что есть это самое "чуть более медленный"

[Сергей Ильин 1538]

Резюмируя - что лучше - быстрое решето или чуть более медленный реальный барьер!?

Кирилл, дело в том, что назвать решетом кого-либо из участников теста как-то язык не поворачивается. Да, у некоторых просто технологически защита не такая мощная, но все же разница не на порядок. Таким образом, все же думаю правильнее оценивать всегда соотношение защита / затраченные ресурсы (т.е. быстродействие).

поднять на нем DFS и проводить тесты на копирование коллекции файлов по сети (с сервера на клиент и наоборт).

Мы это делали, копировали ради эксперимента файл с веб-сервера (ПК4) на рабочие станции. Измеряли замедление при этом относительно эталона. Все эти данные есть в полном отчете о тестировании.

у меня не было времени принять обсуждение в методологии тестировния, но чтобы приблизить к реальности тестов один из клиентов надо было сделать с серверной ОС и установленным на него антивирусом того же вендора из этой же линейки, поднять на нем DFS и проводить тесты на копирование коллекции файлов по сети (с сервера на клиент и наоборт).

Допустим. А что это нам покажет? Ну скопировали файлы по сети, записали цифры. Это цифры о чем будут говорить?

[Kartavenko M.V. 34]

1. В тесте On-access правильнее учитывать результаты повторного сканирования. Как правило, локальные файлы пользователя уже проверены антивирусом и их копирование не приводит к их повторной проверке. Если рассматривать различные методики независимого тестирования (AV-Test.org, Passmark), то на тесте Копирования файлов обычно проводят несколько итераций (от 5 до 7) и в качестве результата берут среднее.

Если рассчитать результаты с учетом повторных 4-х прогонов, то получим следующие результаты:

Dr.Web 38,33%

McAfee 26,25%

Symantec 35,26%

Kaspersky 22,80%

Eset 107,23%

Trend Micro 216,11%

Sophos 292,76%

AVG 330,96%

Дискуссионный вопрос. Если делать 5 прогонов подряд мы что получим. Что у продуктов у которых нет оптимизации, время будет равно "5*время_первого_прогона", понятно с некоторыми небольшими вариациями.

А у продуктов с оптимизацией это будет равно "1*время_первого_прогона + 4*что_то_близкое_к_чистой_системе". И в чем счастье? Если сделать 10 или 20 прогонов, то у продуктов с оптимизацией время будет стремиться к времени чистой системы. Т.е. увеличением количества итераций мы будем манипулировать результатами. И именно это больше похоже на подгонку под заданный результат.

То как сделано в этом тесте позволяет разделить все логично на две части - время первого копирования и время последующих копирований.

[A. 876]

А у продуктов с оптимизацией это будет равно "1*время_первого_прогона + 4*что_то_близкое_к_чистой_системе". И в чем счастье? Если сделать 10 или 20 прогонов, то у продуктов с оптимизацией время будет стремиться к времени чистой системы.

Именно - ведь пользователь использует систему с антивирусом не 15 минут за всю жизнь, а месяцами. Поэтому при таком раскладе - продукты с оптимизацией и дают максимальный эффект. Чем больше итераций - тем больше к реальности.

[Сергей Ильин 1538]

Именно - ведь пользователь использует систему с антивирусом не 15 минут за всю жизнь, а месяцами. Поэтому при таком раскладе - продукты с оптимизацией и дают максимальный эффект. Чем больше итераций - тем больше к реальности.

Все было бы хорошо, если бы не технологические особенности этих самых оптимизаций. После обновления баз антивируса все будет пересканировано в случае iChecker и его аналогов. Чтобы этого не было, должно пройти дофига времени (накопленная репутация), так было в 7-ке, как в текущих версиях работает, я не проверял. Как часто у нас обновляются базы сейчас? Минимум раз в 30 минут, правильно? Вот и получается, что такие оптимизации не дают ожидаемого эффекта на практике.

Вот если бы в тесте не отключать обновление и производить копирования через N часов, вот тогда было бы что-то более близкое к реальность. Кстати это вариант.

[Kartavenko M.V. 34]

Именно - ведь пользователь использует систему с антивирусом не 15 минут за всю жизнь, а месяцами. Поэтому при таком раскладе - продукты с оптимизацией и дают максимальный эффект. Чем больше итераций - тем больше к реальности.

Давайте подискутируем.

По сути вопрос "как измерять?" должен опираться на другой вопрос - "какие типичные действия совершает пользователь?". Если мы говорим про копирование - то есть два крайних варианта:

1. Пользователь постоянно копирует с раздела на раздел один и тот же набор файлов. В этом случае наибольшее значение приобретает оптимизация. И ее наличие будет решающим фактором для скорости копирования.

2. Пользователь каждый раз копирует разные файлы. В этом случае оптимизация для него не важна.

Понятно, что в реальности это некий смешанный вариант. Но каковы проценты каждой ситуации в общей деятельности? Тут можно либо собрать экспертное мнение, либо провести большое экспериментальное исследование. Если одна из крайностей будет преобладать - то берем соответствующий метод отчета. Если 50/50 - то либо смешанная система, либо обработка двумя способами с соответствующими комментариями. Провести такое исследование посильно, если эта тема важна.

В заключении. Существующая методика измерения и обсчета по сути предоставляет информацию по обоим описанным вариантам. Значение первого прогона указывает на сканирование новых данных, а значения оптимизации показывают что часть продуктов будет минимально замедлять повторное сканирование. 3, 4,... n-ое измерение будут не сильно отличаться от 2-го измерения. Хотя ради интереса в следующий раз как минимум стоит провести 3, 4 и 5 прогон.

Я вот так рассуждаю.

[Kapral 311]

По сути вопрос "как измерять?" должен опираться на другой вопрос - "какие типичные действия совершает пользователь?". Если мы говорим про копирование - то есть два крайних варианта:

1. Пользователь постоянно копирует с раздела на раздел один и тот же набор файлов. В этом случае наибольшее значение приобретает оптимизация.

Выгнать юзера и взять другого, который будет делать что-то полезное

2. Пользователь каждый раз копирует разные файлы. В этом случае оптимизация для него не важна.

Может у меня юзеры какие то неправильные

Но утром они запускают какой то рабочий инструмент (1С, браузер, Ворд, Эксель) и выключают перед уходом домой

Ну бывают 2-4 программы

Кроме того, как часто запускают - надо смотреть и какой процент это делает

[Сергей Ильин 1538]

Но утром они запускают какой то рабочий инструмент (1С, браузер, Ворд, Эксель) и выключают перед уходом домой

Какой-то один это браузеров с домашней страницей vkontanke.ru или facebook.com?

Конечно я не показательный юзер может быть, но у меня всегда открыто не менее 5 приложений и в день открывается десятки доков.

[Kapral 311]

Сергей Ильин, конечно есть и такие пользователи, которые часто и много запускают различного, софта

Но большая часть корпоративных в основном (сужу исключительно по своей конторе) - работают в режиме 2-3 программы и целый день

[Виталий Я. 859]

В общем-то, опять возвращаемся к методологии - надо ее публиковать ДО начала теста, а не за 2 недели до публикации.

А перед следующим тестом - еще и задуматься: сколько единиц админов в конторах с каким парком опрошено было?

Например, мы недавно проводили исследование на небольшой выборке ИТ-шников с парком 50-250 ПК в подчинении - так основное пожелание к производительности: чтобы система не вставала колом во время проверки на лету чего-то, загружаемого из Сети, и чтобы проверка по расписанию была после конца рабочего дня и вырубала ПК по окончанию.

[Kapral 311]

Виталий Я. ,

выборке ИТ-шников с парком 50-250 ПК в подчинении

Мой случай

так основное пожелание к производительности

Я наверно не типичный админ

Ни один из перечисленный случаев я даже не рассматриваю

[Виталий Я. 859]

Я наверно не типичный админ

Ни один из перечисленный случаев я даже не рассматриваю

Ну, существующие клиенты гораздо более тонкие требования выдвигают. Но эти из разряда потенциальных были

[Сергей Ильин 1538]

Если заниматься дальнейшим анализом результатов теста, то что вы думаете об интегральной оценке?

Посмотрев на распределение наград между вендорами по двум номинациям, можно сделать вывод, что золотая середина - это Eset, McAfee и Symantec. Тот же вывод напрашивается если посмотреть внимательно все результаты теста и попытаться их обобщить. К этой тройке можно было бы добавить Dr.Web, но торможение старта офисных программ его как-то подкосило,сильно смазывает впечатление.