Тест антивирусов на быстродействие II (подготовка)

[Umnik 997]

1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

Почему не SP3 и SP2?

2. Установка типового набора ПО (Office, графика, утилиты, игры).

Можно список типового набора? Какие пакеты, какие программы, какие игры?

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

Можно список? Не нужно недоговоренностей и т.д. и т.п. Выключаем:

- Обновления ОС

- Индексирование диска

- Экономия электропитания

4. Измерение базовых характеристик чистой системы.

Какие базовые характеристики могут быть, если нет списка кейсов? И сколько будет замеров для вывода средней чистой?

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

Какой набор софта? Где можно посмотреть на документы?

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

Не все отключаемо. И это неотключение может быть методом защиты.

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

Никак не первая! Первая - пропускаем, игнорируем. Делаем 10 загрузок, минус первая и берем среднюю от девяти.

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

Копирование откуда куда? С одного винта на другой? Из шары на флешку? Какая коллекция? В ней должны быть и мелкие файлы, и большие. И проверяемого формата, и не проверяемого (+ расширения). Нельзя откат! Так нарушается работа технологий оптимизации и в результате этот тест будет не пригоден для пользователя, но пригоден для разработчиков, которых интересует влияние движка. Пользователь же будет работать без отключения оптимизаций и получит другие результаты.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

Зачем отключать оптимизацию, опять же?

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

Если так, то в первом случае можно отключить оптимизацию, а этот кейс оставить не факультативным, а зачетным. В процессе каждодневной работы пользователя с ОДС и ОАС накопляются данные для оптимизации и этот кейс будет ближе к его реальности, нежели предыдущий. Он не должен быть факультативным.

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

А FTP? А по каким портам? А какой набор?

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

А может не старта приложений, а открытие документов? Рааазных. Плюс их сохранение.

III Измерение потребления ресурсов

Плюс запускаем скан по расписанию каждые полчаса, обновлятор по расписанию каждые 2 часа и оставляем часов на 12. Затем отключаем расписание и ждем 30 минут, снимаем показатели. Продукты должны уметь высвободжать ресурсы. Проверку все ОС я могу оставить на ночь или включить ее перед уходом на прогулку, но после ее окончания я должен быть уверен, что память освободилась и нагрузка на ЦП упала до нормальных значений.

Да, нужно проверить:

1. Копирование файлов в/из сетевой шары

2. Копирование файлов из одной папки в другую в пределах ЖД

3. Копирование файлов с ЖД с/на сменный носитель

4. Удаление файлов (обычных чистых файлов, удаление пользователем, а не продуктом как зараженных)

5. Архивация/Разархивация (zip, rar, 7zip)

Все это предварительно на чистой ОС, конечно. Минимум 5 раз для получения средней.

[Danilka 678]

Почему не SP3 и SP2?

Потому что методология старая- 2008 года.

Предлагаю еще и Windows 7. Если тестирование будет после 22 октября 2009 года.

[Мальцев Тимофей 74]

Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Например, с тем. что некоторые антивирусы после инсталляции в фоновом режиме, не торопясь, проверяют содержимое дисков, запоминают даты изменения файлов и потом проверяют их только, если они вновь изменены?

Ведь тут с точки зрения быстродействия - потенциальный плюс, но не сразу.

С точки же зрения безопасности - не уверен, что плюс, но в этом тесте ведь не это самое главное, да?

[strat 275]

Кстати, выбор настроек можно было бы оставить за вендором, разработчиком конкретного продукта, но с условием, что эти настройки будут едины для всей серии тестов. Каждый из вендоров сам должен принять решение какую репутацию он хочет обрести, а в каком из тестов проиграть

а по сути каждый из вендоров эти настройки определил - по умолчанию все настройки уже "лучшие", справедливо будет их таким образом и оставить.

[Umnik 997]

Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Мой пост читал?

[Umnik 997]

Ответы будут? Или тест запустится без изменения методы, которая является неправильной с точки зрения энд юзера?

[Мальцев Тимофей 74]

Мой пост читал?

(осторожно)

Да...

[vaber 350]

По теме:

Чпок!

там правда только касаемо Висту и 7-ки, но все-равно будет полезно.

[Сергей Ильин 1538]

Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

[kvit 85]

Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

интересно увидеть, как идет повторная проверка, но уже после обновления баз... с учетом частых (но нужных) обновлений, это была бы интересная картина...

[Arnee 10]

1000 $ (без монитора)

думаю,что это среднестатистическая цена стационарного домашнего пк,чтобы года 2-3 не апгрейдить.

детишек,любителей суперновых игр-в счет не брать,у них пк меняются чаще.

... 1000$ - я за AMD 6000+ 4 gb RAM и видеокарту с 1 GB на борту отдал 300$ поменее...без монитора..)

[Zilla 340]

и видеокарту с 1 GB

на таких и рассчитан этот лохотрон...

[Arnee 10]

на таких и рассчитан этот лохотрон...

Весьма нелюбезно,фи...

[hitman_007 25]

и все же срок выхода январь...ну что же, всех тогда с наступающим!

[Сергей Ильин 1538]

Начали выкладывать. Уже можно ознакомиться с новой методологией http://www.anti-malware.ru/node/2185

[Zilla 340]

А результаты сегодня?

[Гриша 50]

А результаты сегодня?

Нет, чуть позже, все уже готово, собираются комментарии аверов, делаются последние штрихи для отчетности перед народом

[Сергей Ильин 1538]

Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Хочу сразу обратить внимание, что мы сменили схему награждения, если сравнивать с прошлым тестом: отказались от номинации за минимальное влияние на загрузку ОС, стали учитывать оптимизацию при сканировании для on-demand сканеров.

[SDA 750]

Acronis True Image использованный в тестировании, на данный момент и есть лучшая защита для пользователя, извиняюсь за офф.

Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

[Гриша 50]

Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Обычный Backup

[Hiss 110]

Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Награды за быстродействие антивирусных мониторов, которые можно получить за 20-50% тормоза (золото) и за тормоза на уровне 50-100-150% (серебро и бронза) это новое слово в тестировании быстродействия.

На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки". Но тормозов уровня 100-150% не давал даже заслуженный тормоз КАВ 4.

Собираетесь подарить каждому партнеру по бонусной золотой, серебряной или платиновой медальке?

[Сергей Ильин 1538]

На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки".

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать

Мы ж не с потолка такие границы установили ...

[Hiss 110]

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

[q]Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает более 6 минут[/q]

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать

Мы ж не с потолка такие границы установили ...

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

[Сергей Ильин 1538]

Hiss, спасибо за вопросы, попробую объяснить.

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

Если у нас без антивируса файлы копируются 3 минуты, а после установки антивируса - 7.5 минут, то это будет означать как раз замедление на 150%. Обычная формула процента: замедление равно=(7.5-3)*100/3.

Или же если "в разах" мерить, то будет как раз 2.5 раза, т.е. вы все верно написали.

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Я там поправил, чтобы было корректнее: Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает 6 минут и есть существенная оптимизация в последующих итерациях.

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Как-то рука не поднимается оставить "самый быстрый антивирус" без медали

[Umnik 997]

Как-то рука не поднимается оставить "самый быстрый антивирус" без медали wink.gif

Ах вот почему Виталик бесится