Тест антивирусов на быстродействие (подготовка)

[sergey ulasen 200]

У Вас есть предложение как можно проверить эффективность, например, наших технологий оптимизации?

Все эти технологии примерно одинаковы, что у Касперского, что у VBA. Сделать полноценный анализ технологий в рамках одного теста конечно же невозможно, т.к. понадобится слишком много времени и ресурсов, и тест действительно выйдет золотым.

Я думаю, что вопросы оптимизации могут быть рассмотрены факультативно и описаны в отдельной статье.

Но тем не менее, указать, что такие технологии в антивирусе есть, нужно обязательно, для этого достаточен один прогон с необновленными базами (это актуально в первую очередь для загрузки системы). После этого время должно сократиться в разы. А сделать это можно действительно факультативно и в итоговые результаты теста не включать.

[drongo 25]

Добрый день всем

У меня возникли некоторые разногласия и вопросы на которые я пока не нашёл ответа.

По поводу списка продуктов: какой точно список( нужно ли тестить только комплексы или только чистые антивирусы ?

Если у компании нет чистого антивируса - что делать? Отключать в интрефейсe или не трогать?

Насчёт теста производительности при установке программы/игры.

6. Запускаем установку дистрибутива ПО

Очень часто я вижу сообщения от гуи устанавливаемой программы что рекомендуется отключить все программы, особенно антивирусы !

Большинство так и делает, ну не охота выбирать опции из кучи сыплющихся окон, к тому же у меня бывало что всё висло, итог и программа не установлена корректно и потеря времени.

Предлагаю убрать данный пункт.

Вместо него лучше сделать office performance test , то есть проверить время открытия файла word,exel,powerpoint с/без "анти"; Изменение файла(слово написали) и сохранили.(с/без "анти")

*Посмотрел тест от производителей Performance test 6.1

нет в этой программе возможности логирования системы при загрузки самой системы- как же они этот тест ( System boot )проводили для меня осталось тайной.

кто знает какая программаа это позволят сделать без шума и пыли?

[Олег Гудилин 95]

Вместо него лучше сделать office performance test , то есть проверить время открытия файла word,exel,powerpoint с/без "анти"; Изменение файла(слово написали) и сохранили.(с/без "анти")

Тоже полезно, только нужно тогда писать прогу которая бы открывала и закрывала документы. На одном документе скорость замерять - слишком много случайности.

По поводу списка продуктов: какой точно список( нужно ли тестить только комплексы или только чистые антивирусы ?

Я бы для начала тестировал чистые антивирусы, функционал комбайнов слишком сильно отличается от друг друга и по многим параметрам их просто некорректно сравнивать.

[Valery Ledovskoy 1082]

баллы?smile.gif и что вам на это скажет Валерий Ледовской? Опять споров будет у вас на тему этих баллов мама не горюй.

Да, балльная система, построенная на множестве натуральных чисел, несколько ущербна. Тут бы как раз тонкости все увидеть, а баллы эти тонкости загрубляют. Нужна система более гибкая. Построенная на множестве вещественных чисел. Иначе будет неинтересно.

[Deja_Vu 366]

За что придется пригрозить пальчиком и выделить (если потребуется) для шалунов отдельную тему.

про обсуждения ... я подразумеваю не лишь данный портал ...

шире мыслить надо.. шире

вы о чем говорите?

вы будете сканировать отдельный диск с лежащими на нем файлами и папками - енто файлы из папки виндоуза, програмфайлза и проч. и проч.

набор из папки виндоуз все равно будет заведомо разный на висте и хрюше!

так что в том что на висте будут другие файлы ворда из папки програмфайлз страшного ничего нет, можно брать разные ворды на висте и хрюше смело

т.е. если будут разными лишь файлы ОС, это не даст повод поразмышлять ... что лучше сканируется? ((-

Если свести к минимому наборы файлов, то хоть какие то аналогии можно будет проводить.

[Valery Ledovskoy 1082]

dry.gif как то очень с трудом верится.

Ну, когда O2007 выходил, то МС об этом писала. Не думаю, что стоит искать список отличий. Только время тратить. Не существеннен этот вопрос, в принципе, для теста.

[Сергей Ильин 1538]

Но тем не менее, указать, что такие технологии в антивирусе есть, нужно обязательно, для этого достаточен один прогон с необновленными базами (это актуально в первую очередь для загрузки системы). После этого время должно сократиться в разы. А сделать это можно действительно факультативно и в итоговые результаты теста не включать.

Первоначально я предлагал так и сделать в качестве факультативного исследования. Вижу, идея все же была стоящая, поэтому включим это в тест. Правда в данном случае считаю, что гонять по 5 раз и откатываться нет смысла, качественно будет все ясно и после одного повторного прогона. Внес изменение в методологию (см. первый пост топика).

Да, балльная система, построенная на множестве натуральных чисел, несколько ущербна. Тут бы как раз тонкости все увидеть, а баллы эти тонкости загрубляют.

Верно, только альтернативы то нет. Как иначе можно просуммировать результаты столько разных пунктов теста?

[Сергей Ильин 1538]

Очень часто я вижу сообщения от гуи устанавливаемой программы что рекомендуется отключить все программы, особенно антивирусы !

Большинство так и делает, ну не охота выбирать опции из кучи сыплющихся окон, к тому же у меня бывало что всё висло, итог и программа не установлена корректно и потеря времени.

Предлагаю убрать данный пункт.

Вместо него лучше сделать office performance test , то есть проверить время открытия файла word,exel,powerpoint с/без "анти"; Изменение файла(слово написали) и сохранили.(с/без "анти")

В принципе, я скорее согласен с этой инициативой, тем более, что время установки программ не так критично для повседневной работы и в данном тесте лишь является еще одним показателем снижения производительности. Какие будут мнения у сообщества?

[Valery Ledovskoy 1082]

Верно, только альтернативы то нет. Как иначе можно просуммировать результаты столько разных пунктов теста?

Да пусть будут баллы. Только не 4 _и_ 5. А чтобы были возможны баллы и между этими цифрами.

Ок, пусть будет 5 баллов за 0% замедления, 4 балла за 5% замедления (в качестве примера). Так прочертите хотя бы прямую линию между точками (0% , 5 баллов) и (5%, 4 балла) и если, допустим, замедление 3%, то получим 4,4 балла. Что ж тут сложного-то?

[Олег Гудилин 95]

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

Сергей, я конечно очень рад за тот, результат, что мы получим в этом факультативном прогоне...но зачем? Я же уже объяснил все выше.

4. Скачиваем из локальной сети набор файлов (несколько раз) и замеряем время при помощи специального BAT-файла.

Каким образом будет организована локальная сеть?

[TiX 0]

А замер памяти делать когда? после запуска винды? перед выключением? или где-то посредине...

Касается как сканнера так и монитора.

+учет того что у большенства ав есть стартап-скан.

... много тонкостей.

[SergeyUser 5]

Предлагаю замерять и сравнивать количество объектов, которые проходят через антивирусное ядро. Если расхождение по результатам замеров велико, нужно разбираться в причинах, до выяснения которых тесты считать корректными нельзя. В противном случае начинаем сравнивать качество и полноту антивирусных баз. Для обычных пользователей все одно, конечно, а вот профессионалам интересно знать, что вносит задержки (потому как обработку архивов, например, можно настраивать, а вот с ядром сложнее, оно, с большего, работает as is).

[Dr.Golova 55]

> 1. Измерение скорости загрузки системы с установленным антивирусом.

А это действительно так анноит пользователей?

Я пришел с работы домой, снял ботинки в прихожей, зашел в кабинет, пнул кнопку включения на десктопе, пошел в спальню, снял костюм, надел домашние треники абибас, кепочку, взял семки и сел за десктоп - он явно уже загрузился. Может прошло две минуты, а может и три! Кому это интересно? Школьнику что рубится спросонья в ВОВ? Давайте тогда посчитаем сколько секунд коннектится адсл модем :-)

Лично меня больше интересует время выхода моего ноута из гибернации - это секунд 10, и звезды мне подсказывают, что от изменения установленого АВ это время не изменится. BTW, перегружать ноут приходится чаще всего из-за апдейтов винды, а не из-за установки новой софтины, а уж тем более апдейтов АВ.

Проверить естесно можно и нужно, но только выводы из этого надо делать крайне осторожно, а не как обычно "ххх медненне грузится на 2 секунды чем ууу - это неприемлимо и ужас нах".

Понятно, что с АВ загрузка операционки будет немного медленнее, но кого из пользователей это волнует настолько, что они будут с секундомером считать, и быкавать из-за лишних 10-20 секунд?

[SergeyUser 5]

Dr.Golova,

Определенно скорость загрузки - очень важный параметр, для многих пользователей, как домашних (которые могут и не знать вообще, что такое Hibernation), так и корпоративных. Конечно 1-2 секунды никто не заметит, а вот 10 и более - очень даже. Учитывая, что при загрузке могут тестироваться системных тысячи файлов, такая задержка очень даже возможна.

[Kokunov Aleksey 20]

А замер памяти делать когда? после запуска винды? перед выключением? или где-то посредине...

Касается как сканнера так и монитора.

+учет того что у большенства ав есть стартап-скан.

... много тонкостей.

Если мне не изменяет память то в Process Exp можно посмотреть на загрузку проца приложениями и объем памяти этих приложений по времени - просто взять среднее за сеанс

[Umnik 997]

Влияние на время загрузки ОС имеет значение. Чтобы в этом убедиться, достаточно почитать форум бета-тестирования ЛК.

[Иван 290]

Предлагаю замерять и сравнивать количество объектов, которые проходят через антивирусное ядро. Если расхождение по результатам замеров велико, нужно разбираться в причинах, до выяснения которых тесты считать корректными нельзя. В противном случае начинаем сравнивать качество и полноту антивирусных баз. Для обычных пользователей все одно, конечно, а вот профессионалам интересно знать, что вносит задержки (потому как обработку архивов, например, можно настраивать, а вот с ядром сложнее, оно, с большего, работает as is).

нет

в тесте интересна производительность, уровень детекта отдельный параметр и для него отдельные тесты

кол-во объектов считать ваще вредно, потому как та же авира покажет, что проверила мало объектов (они как-то составные по другому обсчитывают), а детект ее общеизвестен

Если мне не изменяет память то в Process Exp можно посмотреть на загрузку проца приложениями и объем памяти этих приложений по времени - просто взять среднее за сеанс

разумно. TiX?

TiX, кстати я вижу вы в теме...давайте предлагать сразу решения, а не вопросы?

[Kokunov Aleksey 20]

предлагаю обсудить настройки продуктов!

т.к. у нас будут проводится использоваться 2 режима работы - проверка по требованию и реал-тайм сканер,

предлагаю у всех АВ предлагаю включить провеку всех файлов без исключения, и так же архивов (т.к. мы используем реальную машину

это будет правильней).

Для реал-тайм сканера - также все файлы, но без архивов.

Конеч но же отключение всех "ускоряющих" технологий.

Только надо сделать табличку по этим настройкам - у какого АВ что есть... что б не получилось что один вендор проверил файл за 1 сек, а другой за 0.2 сек при этом 1 использовал 10 технологий, а 2 102 технологии...

[dot_sent 140]

т.к. у нас будут проводится использоваться 2 режима работы - проверка по требованию и реал-тайм сканер,

предлагаю у всех АВ предлагаю включить провеку всех файлов без исключения, и так же архивов (т.к. мы используем реальную машину

это будет правильней).

Для реал-тайм сканера - также все файлы, но без архивов.

Конеч но же отключение всех "ускоряющих" технологий.

Насколько я помню, эти настройки предлагалось оставить по умолчанию, как поступает большинство пользователей. Иначе получится сферический конь в вакууме.

[alexgr 556]

В принципе, я скорее согласен с этой инициативой, тем более, что время установки программ не так критично для повседневной работы и в данном тесте лишь является еще одним показателем снижения производительности. Какие будут мнения у сообщества?

я это тоже предлагал

Насколько я помню, эти настройки предлагалось оставить по умолчанию, как поступает большинство пользователей.

+1

и об этом писал

[Олег Гудилин 95]

Насколько я помню, эти настройки предлагалось оставить по умолчанию, как поступает большинство пользователей. Иначе получится сферический конь в вакууме.

1.Я также считаю, что обязательно должен быть прогон с настройками по умолчанию. Предлагаю при этом сделать важную вещь - составить табличку, что у кого включено/выключено по умолчанию. Это даст пользователям пищу для правильных размышлений.

2.Тем не менее предлагаю также прогнать весь тест и с максимальными настройками монитора и сканера. Тогда мы получим вариант при максимальной защите - что очень важно. Это тем более важно, т.к. тестеры (AV-Comparatives, AV-Test ) смотрят уровень обнаружения именно на максимальных настройках - значит производительность лучше соотносить именно с детектом именно в терминах максимальных настроек.

3.Насчет отключения оптимизации - в основном тесте это делать ненужно, мы же смотрим настройки по умолчанию - по умолчанию оптимизация включена.

Но вот факультативно прогнать первые прогоны с отключенной оптимизацией нужно. Результат первого прогона у многих будет быстрее, т.к. данные необходимые для дальнейшей оптимизации не будут обсчитываться.

[Umnik 997]

Если и гонять на архивах, то только zip. Этот формат все вендоры принимают.

[Сергей Ильин 1538]

Сергей, я конечно очень рад за тот, результат, что мы получим в этом факультативном прогоне...но зачем? Я же уже объяснил все выше.

Есть пожелания общественности, а потом больше информации никогда не помешает. Я не думаю, что подавляющее большинство юзеров знают о преимуществах технологии iChecker и аналогах.

Каким образом будет организована локальная сеть?

Я думаю мы остановимся на варианте изолированной локальной сети из двух тестируемых компьютеров. В данному случае сторонний трафик будет отсутствовать, а несколько последовательных итераций исключат возможность случайностей.

[Сергей Ильин 1538]

А замер памяти делать когда? после запуска винды? перед выключением? или где-то посредине...

Касается как сканнера так и монитора.

Замер памяти делать после полной загрузки системы в спокойном режиме. Во время сканирования мы будем мерить максимальный и средний уровень использования памяти. Есть другой вопрос, озвученный ваше нужно ли учитывать размер свопа или нет?

+учет того что у большенства ав есть стартап-скан.

Все задачи типа сканирования при старте или обновления будут выключаться. Если нельзя, то ... ничего не поделаешь. За качество защиты нужно чем-то расплачиваться.

Вчера забыл отписаться на счет сканирования HTTP трафика. У некоторых антивирусов есть такая фича, но это будет серьезно занижать результаты теста в части измерения скорости загрузки файлов из сети. Считаю, что в данном случае надо представить результаты "как есть", т.е. в выводах четко указать у кого есть возможность проверки HTTP трафика и сопоставить с результатами теста.

Предлагаю замерять и сравнивать количество объектов, которые проходят через антивирусное ядро. Если расхождение по результатам замеров велико, нужно разбираться в причинах, до выяснения которых тесты считать корректными нельзя. В противном случае начинаем сравнивать качество и полноту антивирусных баз. Для обычных пользователей все одно, конечно, а вот профессионалам интересно знать, что вносит задержки (потому как обработку архивов, например, можно настраивать, а вот с ядром сложнее, оно, с большего, работает as is).

Как точно определить это количество для каждого антивируса? Без непосредственной помощи разработчиков мы никогда точно не узнаем, что проверялось на уровне ядра.

Понятно, что с АВ загрузка операционки будет немного медленнее, но кого из пользователей это волнует настолько, что они будут с секундомером считать, и быкавать из-за лишних 10-20 секунд?

Конечно 1-2 секунды никто не заметит, а вот 10 и более - очень даже. Учитывая, что при загрузке могут тестироваться системных тысячи файлов, такая задержка очень даже возможна.

Тут важно именно качественное торможение системы. Задержка в 1-2 секунды будут незначительная, а вот если какой-то продукт тормозит 5 минут, при этом сам наставивая на постоянных перезагрузках, ... меня лично это бесит.

1.Я также считаю, что обязательно должен быть прогон с настройками по умолчанию. Предлагаю при этом сделать важную вещь - составить табличку, что у кого включено/выключено по умолчанию. Это даст пользователям пищу для правильных размышлений.

Мы хотели взять настройки по умолчанию. Лучше ничего не менять в настройках, так как будет куча вопросов, что поставит весь тест под сомнение.

2.Тем не менее предлагаю также прогнать весь тест и с максимальными настройками монитора и сканера. Тогда мы получим вариант при максимальной защите - что очень важно. Это тем более важно, т.к. тестеры (AV-Comparatives, AV-Test ) смотрят уровень обнаружения именно на максимальных настройках - значит производительность лучше соотносить именно с детектом именно в терминах максимальных настроек.

Это было бы хорошо, но это еще 100% к затратам на проведение теста. Придется отказаться от этой идеи.

[Сергей Ильин 1538]

Еще несколько программ для теста производительности:

Segue(Silk Performer)

Mercury(LoadRunner)

IBM Rational(Performance Tester)

Может быть стоит их включить в пункт 7? Если указанного там набора недостаточно.

От выполнения пункта 6 (инсталяция программ) в этой версии теста предлагаю отказать. Пункт очень ресурсоемкий, а дополнительной информации дает мало, да и установка крупных пакетов софта трудно отнести к повседневной операции.