Тест антивирусов на быстродействие II (подготовка)

[Zilla 340]

Может вы и правы, но я думаю лучше было бы опытным путём доказать это.. Возможно на мощной системе результат один, а на слабой совершенно другой.. И как быть тогда? Имхо, нужно проводить тесты на двух стендах с hi-end и low-end..

[Мальцев Тимофей 74]

Вопрос дня, как я понимаю, заключается в том, какую машину можно признать среднестатистической для целевой аудитории теста.

Ну это явно не четырехядерный восьмигигабайтник, господа.

[vovan7777 95]

1000 $ (без монитора)

думаю,что это среднестатистическая цена стационарного домашнего пк,чтобы года 2-3 не апгрейдить.

детишек,любителей суперновых игр-в счет не брать,у них пк меняются чаще.

[anip 50]

1000 $ (без монитора)

думаю,что это среднестатистическая цена стационарного домашнего пк,чтобы года 2-3 не апгрейдить.

Да, приблизительно этот закон выполняется прошедшие лет 10, видимо, будет действующим и в дальнейшем. Можно и на него ориентироваться, при условии, конечно, отсутствия перекосов в конфигурации.

[Deja_Vu 366]

Может вы и правы, но я думаю лучше было бы опытным путём доказать это.. Возможно на мощной системе результат один, а на слабой совершенно другой.. И как быть тогда? Имхо, нужно проводить тесты на двух стендах с hi-end и low-end..

XD

как проектировщик ЭВМ авторитетно заявляю - не влияет.

[Zilla 340]

как проектировщик ЭВМ авторитетно заявляю - не влияет.

Ну например, я знаю что быстродействие AVG прямолинейно зависит от количества ядер. И он может показать намного хуже результаты на 1-ядерном процессоре, чем на многоядерном, в отличии от других антивирусов, на которых кол-во ядер практически не влияют, т.к. они не оптимизированные под многолинейность.

[Ego1st 95]

за 1000$ собирается сейчас 4 ядерник с 4 гигами на борту, на такой машине не должно опять же ничего тормозить=)

средне статистический комп это 500-600$ максимум, да и то у половины сейчас и то дешевле..

покрайне мере если рассматривать рунет

[Сергей Ильин 1538]

Как правильно написал выше Ego1st брать очень можную машину нет смысла. Мы там будем иметь результат "все быстрые в пределах погрешности измерения". К тому же понятно, что люди с 4-х ядерниками и 4+ гигами оперативки не парятся с выбором самого быстрого антивируса.

Я думаю, надо брать среднюю машинку или даже немного даже устаревшую, так как целевая аудитория результатов теста это те, кто хочет выбрать оптимальный про производительности антивирус для своей медленной машины. У кого машина быстрая, те не думают о вопросах оптимизации нагрузки на нее, и так все летает.

[DWState 30]

А использоваться будет физическая машина или виртуальная среда?

[Zilla 340]

Конечно физическая машина.

[Сергей Ильин 1538]

А использоваться будет физическая машина или виртуальная среда?

Конечно физическая машина.

Да, физическая, как в прошлый раз. Без этого тест не получится.

[sww 486]

Итак, первая партия мыслей:

1) Совершенно отказаться от теста на загрузку операционной системы, т.к. а) это имеет мало смысла б) у разных вендоров реализовано по-разному, например, некоторые проверяют файловым монитором прямо на загрузке, другие составляют список и проверяют по списку уже потом. Второй подход имеет очевидный минус - серьезную заразу не будет видно и ее скорее всего пропустят.

2) Друзья предлагающие выставлять максимальные настройки совершенно не понимают ничего в ав-технологиях. У нормального продукта максимальные настройки служат только для продвинутых пользователей, которые знают, что они делают. С ними эмуляторы работают до победного конца, эвристика ловит все, что только может, а файловый монитор откликается на каждый чих. Не вижу смысла никакого тестировать с максимальными настройками, ибо большинство пользователей работает с настройками по умолчанию.

3) Обсуждение железа - это совершеннейший оффтоп и к теме не имеет никакого отношения. Если у пользователя 286, то пусть сидит под Досом или убьеццо об стену, что намного лучше Нужен средний компьютер.

4) Есть предложение разделить тестирование на две составляющие: с сетью и без, дабы посмотреть на то, как влияют технологии "In Da Cloud" на производительность в целом. Обязательно указать, что продукт поддерживает такие технологии. Думаю, что тех, кто не поддерживает можно даже не тестировать.

5) Есть большие сомнения насчет теста с Вордом, Экселем и прочим барахлом. У ведущих компаний реализованы белые списки и они влияют на производительность данного софта. Пока не могу сформулировать более четко. С играми очень даже вполне, НО необходимо понимать, что у некоторых реализован Game Mode и он, по-идее, должен сильно влиять на производительность игр в лучшую сторону (два режима? включенный и выключенный?).

6) Предлагаю добавить в тест режим "Полное сканирование", причем чистой системы. Корреляцию между количеством проверяемых объектов (стартапы, процессы, потоки, память и т.п.) и скоростью провести нереально в любом случае. Режим "Быстрое сканирование" не тестировать.

Edit:

А вообще, в этом тесте очень много проблем и подводных камней, он очень сложен, ибо нужно учитывать громадное количество факторов данного конкретного вендора. Я б его не проводил бы вообще

[Zilla 340]

sww,

1) не согласен. Проводить тест на скорость загрузки ос нужно, это важный фактор.

2) согласен

3) моё мнение знаете - нужно 2 сденда с разной конфигурацией.

4) не согласен) тестировать нужно всех и одинаково без поблажек.

5) то что у некоторых нет белых списков - ихние проблемы. На игры антивирусы практически не влияют. При игровом режиме ав сам принимает решение, что бы не отвлекать пользователя.

6) это уже спорно. У многих ав стандартные настройки на полном сканировании разные. И всё равно все всегда выкручивают их на полную.

[sww 486]

sww,

1) не согласен. Проводить тест на скорость загрузки ос нужно, это важный фактор.

Совершенно не важный фактор.

4) не согласен) тестировать нужно всех и одинаково без поблажек.

Не вижу смысла тратить время, т.к. сеть не будет влиять на производительность у тех, кто ее не использует.

6) это уже спорно. У многих ав стандартные настройки на полном сканировании разные. И всё равно все всегда выкручивают их на полную.

Это я и без вас знаю. Поэтому считаю, что тест очень сложный.

[Umnik 997]

5) то что у некоторых нет белых списков - ихние проблемы. На игры антивирусы практически не влияют. При игровом режиме ав сам принимает решение, что бы не отвлекать пользователя.

Вы не в ту степь ушли. Вячеслав сказал, что это будет ни разу не честно. Тут потыкают в MS Office, АВ пропустит его по вайт листу, запишут великолепную скорость. А энд юзер начнет ставить своего ломанного Сталкера и офигеет от просадки. В итоге АМ дезинформировал пользователя.

[Danilka 678]

Если тестирование будет после 22 октября 2009г. предлагаю включить в список ОС Windows 7.... Очень будет интересно посмотреть на результаты на новой ОС- тем более все тестируемые АВ должны 100% ее поддерживать на тот момент.

[Umnik 997]

Тест загрузки ОС двоякий. У меня, например, была сильная просадка (износ винта) и загрузка в 6 минут меня не радовала. Предлагаю провести этот тест на что-то вроде "в пределах нормы". Т.е. прикидываем процент просадки, который не грех делать и просто фиксировать по двухбальной шкале - уложился или нет. Ибо задержка на 400% - это не дело. Кстати, "домохозяйки" включают/выключают комп по дцать раз на дню, сужу по жене, маме, тестю, его младшей дочери.

Отредактировал Июль 24, 2009 Umnik

[Мальцев Тимофей 74]

1) не согласен. Проводить тест на скорость загрузки ос нужно, это важный фактор.

Вот, если честно, на что я дома меньше всего обращаю внимание на скорость загрузки компа. А вот перед Сталкером, когда его щупал, монитор отключал в обязательном порядке.

[sww 486]

Тест загрузки ОС двоякий. У меня, например, была сильная просадка (износ винта) и загрузка в 6 минут меня не радовала. Предлагаю провести этот тест на что-то вроде "в пределах нормы". Т.е. прикидываем процент просадки, который не грех делать и просто фиксировать по двухбальной шкале - уложился или нет.

Слишком субъективно и технологии опять же у всех разные, тоже самое, что и с MS Office. В антивирусах вообще технологии у всех разные Я не знаю как тут можно тестировать скорость, учитывая все параметры.

[Виталий Я. 859]

Пожелание - не забыть провести тест на повторное сканирование (до апдейта баз с момента первого). В прошлом году лидеры и "тормоза" определились очень четко.

[Umnik 997]

sww

Технологии технологиями, а я даже матом ругался в те моменты. А если бы был виноват Продукт, ругался бы на конкретных людей. Субъективно-то оно так, но рамки приличия, разумности никто не отменял.

Кстати, "домохозяйки" включают/выключают комп по дцать раз на дню, сужу по жене, маме, тестю, его младшей дочери.

Они, как бэ, недовольны будут, ежели просадка будет значительной.

Вот, если честно, на что я дома меньше всего обращаю внимание на скорость загрузки компа.

Сколько раз на день его включаешь?

[OlegSych 40]

Разрешите и мне немного поучаствовать в вашей дискуссии.

Конкретно я бы хотел привести свои соображения насчёт настроек, при которых должны тестироваться продукты.

Прежде всего, хотелось бы отметить, что все тестирования должны выполняться пакетно, и внутри пакеты параметры настроек антивируса меняться не должны. Что я имею в виду.

Организаторы данного портала проводят массу тестов. Каждый их этих тестов как бы сам по себе. В результате мы имеем:

- был тест на детектирование активного malware, в этом тесте применялись определённые настройки;

- тест на детект упакованных файлов - у него свои настройки

- тест на скорость работы - опять свои настройки.

В результате, если сложить все эти тесты, то получить полную картину невозможно, так как все тесты при разных настройках. И получается, что есть какой то антивирус, который очень хорошо ловит вирусы, но ооочень медленно работает при тех настройках, в которых он хорошо ловит вирусы. Но из серии этих тестов можно сделать вывод что он и вирусы ловит, и работает быстро (только настройки при этом разные!). А на сама деле это продукт просто можно настроить так, что бы он работал быстро и/или обеспечивал должный уровень защиты. А вот тесты как раз должны определить, должно там быть "и" или же всё таки "или".

Ну в общем о чём это я. Собираетесь делать тесты - выберите одни настройки. Пусть у разных продуктов они будут не идентичны, но надо найти какую то середину. Если кто то из вендоров скажет, что надо включить какие то параметры для хорошего детекта, что ж, тогда тест на производительность он, скорее всего, проиграет.

В общем, моя позиция: одни настройки для всей группы тестов. Иначе производится элементарное манипулирование тестами. Я хочу увидеть тест быстродействия при тех параметрах - при которых сохраняется хороший уровень защиты. Или же тест на детект при тех параметрах, где демонстрируется хорошая производительность.

[Мальцев Тимофей 74]

Сколько раз на день его включаешь?

Максимум - один.

[sww 486]

В общем, моя позиция: одни настройки для всей группы тестов. Иначе производится элементарное манипулирование тестами. Я хочу увидеть тест быстродействия при тех параметрах - при которых сохраняется хороший уровень защиты. Или же тест на детект при тех параметрах, где демонстрируется хорошая производительность.

Ерунда, т.к. если мы тестируем, например, эвристические возможности продуктов, то это одно. Настройки на максимум могут показать нам потенциал эвристика/эмулятора, но будут тормоза, что естественно. Как "скоррелировать" возможности по скорости и возможности по лечению я не знаю, по-моему, это вообще не реально.

Есть еще один момент, который я хочу, чтобы все понимали. Настройки по умолчанию у всех вендоров разные. Каждый вендор сам решает чем он может жертвовать, а чем нет. Так что изначально тестируемые продукты находятся в разных условиях, так как они, блин, разные сами по-себе

[OlegSych 40]

если мы тестируем, например, эвристические возможности продуктов, то это одно. Настройки на максимум могут показать нам потенциал эвристика/эмулятора, но будут тормоза, что естественно.

Я с Вами согласен, что важно тестирование потенциала. Но это можно делать отдельно, факультативной оценкой такой.

Вопрос: для кого проводятся эти тесты? Для вирусных аналитиков? Типа конкурс у кого больше... круче механизмы эвристического и поведенческого анализа?

Я думаю что эти тесты проводятся для пользователей (или всё таки я не прав?)

Второй вопрос: какой процент пользоваталей хоть иногда выкручивает все настройка на максимум? Какой процент корпоративных пользоваталей делает тоже самое?

Такие вещи как детект зловредов при максимальных настройках интересуют только очень узкий круг специалистов, дабы выявить тот самый потенциал. А какой смысл в этом потенциале, если на 99% инсталляций антивирусного ПО эти супер-настойки никогда не устанавливаются?

Нужно искать баланс между безопасностью и производительностью. ИМХО, anti-malware.ru мог бы это сделать, так как ребята проводят весь комплекс тестов, а не какое то одно узкое направление.

Кстати, выбор настроек можно было бы оставить за вендором, разработчиком конкретного продукта, но с условием, что эти настройки будут едины для всей серии тестов. Каждый из вендоров сам должен принять решение какую репутацию он хочет обрести, а в каком из тестов проиграть