Перейти к содержанию
Сергей Ильин

Тест антивирусов на быстродействие II (подготовка)

Recommended Posts

Umnik
1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

Почему не SP3 и SP2?

2. Установка типового набора ПО (Office, графика, утилиты, игры).

Можно список типового набора? Какие пакеты, какие программы, какие игры?

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

Можно список? Не нужно недоговоренностей и т.д. и т.п. Выключаем:

- Обновления ОС

- Индексирование диска

- Экономия электропитания

4. Измерение базовых характеристик чистой системы.

Какие базовые характеристики могут быть, если нет списка кейсов? И сколько будет замеров для вывода средней чистой?

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

Какой набор софта? Где можно посмотреть на документы?

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

Не все отключаемо. И это неотключение может быть методом защиты.

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

Никак не первая! Первая - пропускаем, игнорируем. Делаем 10 загрузок, минус первая и берем среднюю от девяти.

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

Копирование откуда куда? С одного винта на другой? Из шары на флешку? Какая коллекция? В ней должны быть и мелкие файлы, и большие. И проверяемого формата, и не проверяемого (+ расширения). Нельзя откат! Так нарушается работа технологий оптимизации и в результате этот тест будет не пригоден для пользователя, но пригоден для разработчиков, которых интересует влияние движка. Пользователь же будет работать без отключения оптимизаций и получит другие результаты.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

Зачем отключать оптимизацию, опять же?

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

Если так, то в первом случае можно отключить оптимизацию, а этот кейс оставить не факультативным, а зачетным. В процессе каждодневной работы пользователя с ОДС и ОАС накопляются данные для оптимизации и этот кейс будет ближе к его реальности, нежели предыдущий. Он не должен быть факультативным.

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

А FTP? А по каким портам? А какой набор?

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

А может не старта приложений, а открытие документов? Рааазных. Плюс их сохранение.

III Измерение потребления ресурсов

Плюс запускаем скан по расписанию каждые полчаса, обновлятор по расписанию каждые 2 часа и оставляем часов на 12. Затем отключаем расписание и ждем 30 минут, снимаем показатели. Продукты должны уметь высвободжать ресурсы. Проверку все ОС я могу оставить на ночь или включить ее перед уходом на прогулку, но после ее окончания я должен быть уверен, что память освободилась и нагрузка на ЦП упала до нормальных значений.

Да, нужно проверить:

1. Копирование файлов в/из сетевой шары

2. Копирование файлов из одной папки в другую в пределах ЖД

3. Копирование файлов с ЖД с/на сменный носитель

4. Удаление файлов (обычных чистых файлов, удаление пользователем, а не продуктом как зараженных)

5. Архивация/Разархивация (zip, rar, 7zip)

Все это предварительно на чистой ОС, конечно. Минимум 5 раз для получения средней.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Почему не SP3 и SP2?

Потому что методология старая- 2008 года.

Предлагаю еще и Windows 7. Если тестирование будет после 22 октября 2009 года.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Например, с тем. что некоторые антивирусы после инсталляции в фоновом режиме, не торопясь, проверяют содержимое дисков, запоминают даты изменения файлов и потом проверяют их только, если они вновь изменены?

Ведь тут с точки зрения быстродействия - потенциальный плюс, но не сразу.

С точки же зрения безопасности - не уверен, что плюс, но в этом тесте ведь не это самое главное, да? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
Кстати, выбор настроек можно было бы оставить за вендором, разработчиком конкретного продукта, но с условием, что эти настройки будут едины для всей серии тестов. Каждый из вендоров сам должен принять решение какую репутацию он хочет обрести, а в каком из тестов проиграть

а по сути каждый из вендоров эти настройки определил - по умолчанию все настройки уже "лучшие", справедливо будет их таким образом и оставить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Кстати, а что делать с технологиями, позволяющими убыстрять проверки?

Мой пост читал? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Ответы будут? Или тест запустится без изменения методы, которая является неправильной с точки зрения энд юзера?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей
Мой пост читал? :)

(осторожно)

Да...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

По теме:

Чпок!

там правда только касаемо Висту и 7-ки, но все-равно будет полезно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
kvit
Тест идет, замеряем все как и прошлый раз. Выводы будем делать несколько иначе. Основное изменение - будем учитывать технологии оптимизации во время последующих прогонов антивирусов. Именно этот момент в метолологии больше всего критиковался в прошлый раз. Будет справедливо, оптимизации работают у реального пользователя и мы должны их учитывать при составлении итового рейтинга скорости.

интересно увидеть, как идет повторная проверка, но уже после обновления баз... с учетом частых (но нужных) обновлений, это была бы интересная картина...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
1000 $ (без монитора)

думаю,что это среднестатистическая цена стационарного домашнего пк,чтобы года 2-3 не апгрейдить.

детишек,любителей суперновых игр-в счет не брать,у них пк меняются чаще.

... 1000$ - я за AMD 6000+ 4 gb RAM и видеокарту с 1 GB на борту отдал 300$ поменее...без монитора..)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
и видеокарту с 1 GB

на таких и рассчитан этот лохотрон...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee
на таких и рассчитан этот лохотрон...

Весьма нелюбезно,фи...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
hitman_007

и все же срок выхода январь...ну что же, всех тогда с наступающим! :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Начали выкладывать. Уже можно ознакомиться с новой методологией http://www.anti-malware.ru/node/2185

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

А результаты сегодня?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гриша
А результаты сегодня?

Нет, чуть позже, все уже готово, собираются комментарии аверов, делаются последние штрихи для отчетности перед народом :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Хочу сразу обратить внимание, что мы сменили схему награждения, если сравнивать с прошлым тестом: отказались от номинации за минимальное влияние на загрузку ОС, стали учитывать оптимизацию при сканировании для on-demand сканеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA

Acronis True Image использованный в тестировании, на данный момент и есть лучшая защита для пользователя, извиняюсь за офф. :)

Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гриша
Вопрос - при тестировании использовался режим функции TryDecide Acronis или обычное восстановление системы из образа?

Обычный Backup

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Hiss
Выложено описание анализа результатов теста

http://www.anti-malware.ru/node/2186

Можно прочитать, каким образом распределялись медали.

Награды за быстродействие антивирусных мониторов, которые можно получить за 20-50% тормоза (золото) и за тормоза на уровне 50-100-150% (серебро и бронза) это новое слово в тестировании быстродействия.

На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки". Но тормозов уровня 100-150% не давал даже заслуженный тормоз КАВ 4.

Собираетесь подарить каждому партнеру по бонусной золотой, серебряной или платиновой медальке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
На глазок заметны тормоза от 20-30% и больше, за это антивирус получает от пользователей заслуженное звание "тормоз перестройки".

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать :lol:

Мы ж не с потолка такие границы установили ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Hiss

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

[q]Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает более 6 минут[/q]

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Вот вы увидите результаты и поймете, что тормоза 20-30% - это то лучшее, на что можно сейчас рассчитывать :lol:

Мы ж не с потолка такие границы установили ...

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Hiss, спасибо за вопросы, попробую объяснить.

Объясните что такое "150% замедление", во сколько раз увеличилось время? Ваши 150% это не полтора раза, а 2,5. За такие показатели награждать будете?

Если у нас без антивируса файлы копируются 3 минуты, а после установки антивируса - 7.5 минут, то это будет означать как раз замедление на 150%. Обычная формула процента: замедление равно=(7.5-3)*100/3.

Или же если "в разах" мерить, то будет как раз 2.5 раза, т.е. вы все верно написали.

А это что такое? "Более 6 минут" это любая величина, от 6 минут до бесконечности.

Я там поправил, чтобы было корректнее: Награда Gold Performance Award On-Demand Scanning присваивается, если время первого сканирования не превышает 6 минут и есть существенная оптимизация в последующих итерациях.

А кто спорит? Но награждать за 100 и 150% все-таки не стоит.

Как-то рука не поднимается оставить "самый быстрый антивирус" без медали ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Как-то рука не поднимается оставить "самый быстрый антивирус" без медали wink.gif

Ах вот почему Виталик бесится :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.15.6
      ---------------------------------------------------------
       o Исправлена ошибка из-за которой автоматически не замораживались потоки внедренные в uVS,
         если их код НЕ принадлежал одной из загруженных DLL.

       o Добавлена поддержка английского интерфейса при запуске под Win2k.

       
    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
×