Перейти к содержанию
Kopeicev

Тест антивирусов на быстродействие III (подготовка)

Recommended Posts

Kopeicev

Доброго дня коллеги!

Предлагаю обсудить новый тест на быстродействие, который мы скоро будем проводить. На повестке дня много вопросов:

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

2. Список продуктов (будет предложен к обсуждению позже, в этой теме).

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

3.1. Отключить от сети для того чтобы исключить возможность замедления из-за сетевой активности.

3.2. Оставить подключённым к сети т.к. некоторые современные АВ продукты используют "облачные" технологии и с учётом их сетевой активности картина быстродействия будет более полной.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
3. Оставлять ли на момент проведения теста машину с включённым интернетом?

Я думаю, оставлять, но при этом машина должна быть достаточно производительной для того, чтобы сетевая активность НЕ сильно влияла на скорость сканирования.

Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Т.к. тестируется быстродействие, а эти технологии призваны именно сокращать время сканирования и затрачиваемые на него ресурсы, то однозначно их наличие необходимо отражать в таком тесте. Только в результатах при этом должны быть отражены все прогоны, чтобы можно было сравнивать.

Кстати, такие технологии работают по-разному. В некоторых антивирусах после получения очередного обновления список доверенных файлов сбрасывается. Поэтому если в п. 3 оставляем включённый Интернет, то отключаем автоматические обновления баз, но оставляем доступ к "облакам". Как-то так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SySOPik

1. Согласен, XP уже на закате популярности.

3. Интернет оставить, так как у большинства пользователей он есть. Пусть условия будут максимально приближенные к боевым.

4. Однозначно 2 прогона, гораздо интересней не первое сканирование, а как антивирус ведет себя в самом распространенном режиме, к примеру сканирование системы раз в неделю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михуил

согласен с 1 пунктом. только на 7-ке. не за горами день когда и на 8-ке тесты придется прогонять.

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

оставлять. Ведь на практике многие люди сканируют не отрубая Инет, да и "облачные" антивири стоит учитывать.

конечно 2 прогона нужно днлать. заодно можно увидить реально работает оптимизация по сканированию

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Я думаю, оставлять, но при этом машина должна быть достаточно производительной для того, чтобы сетевая активность НЕ сильно влияла на скорость сканирования.

Т.к. тестируется быстродействие, а эти технологии призваны именно сокращать время сканирования и затрачиваемые на него ресурсы, то однозначно их наличие необходимо отражать в таком тесте. Только в результатах при этом должны быть отражены все прогоны, чтобы можно было сравнивать.

Кстати, такие технологии работают по-разному. В некоторых антивирусах после получения очередного обновления список доверенных файлов сбрасывается. Поэтому если в п. 3 оставляем включённый Интернет, то отключаем автоматические обновления баз, но оставляем доступ к "облакам". Как-то так.

Согласен. Лучше так сделать.

ОС Win 7 x86

Однозначно брать эту ОС.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Согласен. Лучше так сделать.

Так-то оно так. Но есть подводный камень. Если отключать автообновление, то тогда сложно будет понять, насколько эти оптимизационные технологии, когда при очередном обновлении сбрасывается список доверенных файлов, действительно помогают ускорять сканирование ;) Интересная задачка, да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Так-то оно так. Но есть подводный камень. Если отключать автообновление, то тогда сложно будет понять, насколько эти оптимизационные технологии, когда при очередном обновлении сбрасывается список доверенных файлов, действительно помогают ускорять сканирование ;) Интересная задачка, да.

Но с другой стороны - тут нужно "раскуривать" каждый продукт, чтобы понять как работают эти технологии. По сути можно тогда сделать так: обновления не отключать, но сканировать повторно предварительно обновив базы. Это будет приближено к реальности. Но обязательно этот момент прописать в методологии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Но с другой стороны - тут нужно "раскуривать" каждый продукт, чтобы понять как работают эти технологии.

Тем ценнее тест, в общем-то. Но главное, чтобы не поставили на счётчик, как некоторых здесь по поводу другого теста ;)

По сути можно тогда сделать так: обновления не отключать, но сканировать повторно предварительно обновив базы. Это будет приближено к реальности. Но обязательно этот момент прописать в методологии.

А можно и так, и так. Просканировать в первый раз. Потом, не обновляя, второй раз. Потом принудительно обновить и третий раз. Интересно? Мне было бы очень интересно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Тем ценнее тест, в общем-то. Но главное, чтобы не поставили на счётчик, как некоторых здесь по поводу другого теста ;)

Это да. :)

А можно и так, и так. Просканировать в первый раз. Потом, не обновляя, второй раз. Потом принудительно обновить и третий раз. Интересно? Мне было бы очень интересно :)

Согласен, интересно, но главное чтобы:

не поставили на счётчик

;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Не?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Не?

Можно и так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

Голосую за Win7x64.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Безусловно проверять эффективность повторной проверки.

3. Оставлять ли на момент проведения теста машину с включённым интернетом?

Безусловно оставлять. Сегодня машина без инета - редкость.

Из этих тестов предлагаю взять:

Benchmark 1: Application Launch

AppTimer was used to measure the time taken to launch Safari web browser. Some antivirus installs plugins or extensions to Internet Explorer or Firefox which will affect the launch time, hence we have chosen Safari browser. 15 launches per set and followed by a reboot. 5 sets were done in total and calculated the average numbers.

Benchmark 2: Boot Time

Instead of using third party software, the more reliable and accurate way to correctly measure Windows 7 boot time is by using Microsoft Windows Performance Toolkit. 5 reboots were done in total and calculated the average numbers.

Benchmark 6: 1st Full Scan

The first full or complete scan time measured. Hard drive contains third party files (C: 14.5GB + D: 11.3GB)

Benchmark 7: 2nd Full Scan

Some antivirus has the technology to skip scanning files that has been scanned/analyzed and not modified. This greatly reduces the scanning time on a large hard drive with a lot of data.

Benchmark 14: Load Website

We used WATIR to instruct loading of 50 websites to Internet Explorer in sequence automatically and the time taken to load all 50 sites were measured with HttpWatch Professional v7.0.24. A free 3 months maintenance license was given for free by HttpWatch to help facilitate this test. Thanks! The 50 sites were hosted in another computer in the local area network running Apache becase testing on real websites via Internet can be inaccurate due to probable instability of internet connection and webhost.

Benchmark 17: File Input Output

We compiled a C++ source code written by http://thepcspy.com/read/what_really_slows_windows_down/ which creates a text file, writes a line, close the file, reopen the file, and write an extra line; repeating for 10,000 times. The application will automatically generate a result file with time taken to complete the process.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Да, была и такая мысль. Но я боялся, что точно счётчик включат :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev

Список:

1. Avast Internet Security 6.0

2. AVG Internet Security 2011

3. Avira Premium Security Suite 10

4. BitDefender Internet Security 2011

5. Comodo Internet Security 5.3

6. Dr.Web Security Space 6.0

7. Emsisoft Anti-Malware 5.1

8. Eset Smart Security 4.2

9. F-Secure Internet Security 2011

10. G DATA Internet Security 2011 (21.1.0.5)

11. Kaspersky Internet Security 2011

12. McAfee Internet Security 2011

13. Microsoft Security Essentials 2

14. Norton Internet Security 2011

15. Outpost Security Suite Pro 7.1

16. Panda Internet Security 2011

17. PC Tools Internet Security 2011

18. Trend Micro Titanium Internet Security 2011

19. VBA32 Personal 3.12

20. ZoneAlarm Internet Security Suite 2010

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Кстати на будущее - предлагаю аналогичный тест сделать на Mac с продуктами для этой платформы. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
deviss
Доброго дня коллеги!

Предлагаю обсудить новый тест на быстродействие, который мы скоро будем проводить. На повестке дня много вопросов:

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

2. Список продуктов (будет предложен к обсуждению позже, в этой теме).

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

3.1. Отключить от сети для того чтобы исключить возможность замедления из-за сетевой активности.

3.2. Оставить подключённым к сети т.к. некоторые современные АВ продукты используют "облачные" технологии и с учётом их сетевой активности картина быстродействия будет более полной.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

1. Выбор Win7 (x86) - совершенно оправдан. И все же, если позволит время: x-64 тоже было бы интересна.

2. -

3. Интернет обязательно включен: не столько из-за "облачности" продуктов, сколько для приближения к реальности. Интернет, пусть самый наимодемнейший, но сейчас почти везде есть.

4. Я слышал у некоторых продуктов при настройках по умолчанию при сканировании (любом: по требованию, по расписанию и т.д.) сначала проверяются объекты автозапуска и/или особо важные системные файлы. В связи с этим вопрос: настройки какие будут - у всех "из коробки"? Или методология будет предусматривать предварительный "напильник"?

4.1. В продолжение: также слышал, что некоторые продукты способны производить сканирование ТОЛЬКО с помощью облака. Как можно будет учесть скорость работы сети для оценки скорости сканирования в этом случае?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Кстати на будущее - предлагаю аналогичный тест сделать на Mac с продуктами для этой платформы. :)

Да, обязательно нужно! МакБук Про для тестировщика подгонишь? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Да, обязательно нужно! МакБук Про для тестировщика подгонишь? ;)

Лучше это брать: http://www.apple.com/ru/macpro/specs.html

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Лучше это брать: http://www.apple.com/ru/macpro/specs.html

Кроме своей бесполезности, тест еще станет "золотым" при покупке Mac Pro :rolleyes:http://market.yandex.ru/search.xml?text=ma...8C&clid=545

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Как бы это шутка была. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Кроме своей бесполезности.

А полезность есть. Проверить реально быстродействие продуктов. Кто больше "тормозит" Mac OS. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Как бы это шутка была. :)

Да я понял, что шутка :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

А этот тест когда?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
А этот тест когда?

Релиз планируем в середине апреля, тест большой, работы много :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

А, ясно. А то предложил взять 2012 KIS...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • PR55.RP55
      Можно сделать так чтобы объект в списке отображался не под своим именем, а под именем критерия. ( или по результату проверки на V.T ) - ( по настройке в settings.ini ) Для чего? Например в списке есть: oikgcnjambfooaigmdljblbaeelmeke odbmjgikedenicicookngdckhkjbebpd Но объект  может отображаться внятно: oikgcnjambfooaigmdljblbaeelmeke = T-Сashback1 — кэшбэк-сервис odbmjgikedenicicookngdckhkjbebpd = T-Сashback2 — кэшбэк-сервис  
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.2.8.
    • demkd
    • santy
      demkd, а где сохраняется информация о количестве используемых ядер? в settings.ini? Не увидел там новый параметр при изменения параметра производительности в доп. настройках.
    • demkd
      ---------------------------------------------------------
       4.99.1
      ---------------------------------------------------------
       o Это обновление добавляет поддержку многоядерных процессоров.

       o В меню Настройки->Дополнительные настройки добавлена возможность указать количество рабочих потоков
         для функций:
           o Создание файла сверки                                        (нельзя прервать)
           o Создание образа автозапуска                                  (нельзя прервать)
           o Загрузка производителя [F3]                                  (доступно прерывание функции по ESC)
           o Проверка по базе проверенных файлов [F4]                     (доступно прерывание функции по ESC)
           o Проверка ЭЦП [F6]                                            (доступно прерывание функции по ESC)
           o Проверка по базе критериев [Alt+F7]                          (доступно прерывание функции по ESC)
           o Фильтрация по базе критериев [Ctrl+F7]                       (доступно прерывание функции по ESC)
           o Проверка списка по выбранному критерию                       (доступно прерывание функции по ESC)
           o Проверить весь список на вирусы                              (доступно прерывание функции по ESC)
           o Добавить хэши всех проверенных файлов в базу проверенных     (доступно прерывание функции по ESC)
           o Добавить хэши исполняемых файлов каталога в базу проверенных (доступно прерывание функции по ESC)
         Значение 0 задает количество потоков равным количеству ядер процессора (включая виртуальные), виртуальные ядра
         могут ускорить процесс на лишние 30%.
         Как сказывается использование E-ядер неизвестно, но скорее всего ощутимой разницы с P ядрами не будет,
         поэтому на новых интелах + NVME SSD сокращение времени исполнения функций скорее всего будет огромным.
         При подключении к удаленной системе для серверной части uVS количество потоков всегда равно количеству ядер (включая виртуальные).
         Для клиентской части действует заданное в настройках значение.
         Для системного диска на базе SSD время выполнение функции уменьшается многократно (для 4-х ядерных процессоров вплоть до 4x на SATA SDD),
         для современных конфигов может иметь смысл задание большего числа потоков чем количество ядер у процессора (допустимый максимум - 128).
         Для HDD все гораздо хуже, время проверки немного сокращается (10-20%), однако когда часть файлов находится
         в кэше системы (т.е. в оперативной памяти) разница будет существенной и для HDD.
         Конечно все это верно лишь для процессоров с более чем 1 ядром.
         (!) Прерывание функции по клавише ESC недоступно для удаленных систем.

       o Другие функции, которые можно прервать по ESC:
         o Проверить все НЕПРОВЕРЕННЫЕ файлы на VirusTotal.com
         o Проверить все НЕПРОВЕРЕННЫЕ ИЗВЕСТНЫЕ файлы на VirusTotal.com
         o Проверить НЕПРОВЕРЕННЫЕ файлы в текущей категории на VirusTotal.com (c учетом фильтра)
         o Проверить все НЕПРОВЕРЕННЫЕ файлы на virusscan.Jotti.org
         o Проверить все НЕПРОВЕРЕННЫЕ ИЗВЕСТНЫЕ файлы на virusscan.Jotti.org
         o Проверить НЕПРОВЕРЕННЫЕ файлы в текущей категории на virusscan.Jotti.org (с учетом фильтра)
         o Проверить хэш файла по базе проверенных файлов
         o Добавить в список->Все исполняемые файлы в системных каталогах не старше указанной даты

       o Обновлен функционал окна "История процессов и задач".
         Добавлена информация о текущем состоянии задач зарегистрированных в системном планировщике заданий.
         Добавлена новая кнопка "С момента запуска системы", которая переключает режим отображения истории.
         Если кнопка нажата то история отображается только с момента запуска системы, все что было раньше не попадает в список.
         Если кнопка отжата то отображается вся доступная история процессов и задач,
         что может быть полезно для выявления зловредной активности непосредственно перед перезагрузкой системы.
         Для каждой задачи по двойному щелчку левой кнопки мыши можно просмотреть XML описание задачи.
         Теперь фильтрующий поиск работает на все колонки активного списка одновременно, поддерживается
         фильтрация и списка процессов и списка задач, в зависимости от того какой список активен.
         Фильтрующий поиск применяется на результат работы родительского фильтра.
         Горячая клавиша Backspace больше не влияет на родительский фильтр, для отката уровня родительского
         фильтра используйте клавиши ESC (если строковый фильтр пуст) или Alt+Up (откат со сбросом строкового фильтра).
         (см. подробнее в файле Doc\История процессов и задач.txt)
         (!) Только для Vista и старше.
         (!) Только для активных и удаленных систем.

       o Включение отслеживания процессов и задач теперь увеличивает системный журнал до 50mb,
         отключение возвращает размер по умолчанию.

       o Новая скриптовая команда: deltskname полное_имя_задачи
         Удалить задачу с указанным именем.
         Имя задачи должно начинаться с символа "\", например: \Task
         Допустимо указывать каталоги например: \Microsoft\Задача
         (!) Только для Vista и старше.

       o Возвращено отображение цифровых процентов в заголовке окна, поскольку в некоторых системах графическое отображение
         прогресса выглядит не очень наглядно.

       o В окно выбора каталога/файла добавлен фильтрующий поиск (по обоим спискам одновременно если это выбор файла).
         В окне изменились горячие клавиши:
          o \ - перейти к выбору диска
          o DEL - удалить каталог/файл (с подтверждением)
          o ESC - очистить фильтр, если фильтр пуст то закрыть окно.   
          o Backspace - удалить последний символ фильтра
          o Alt+Вверх - перейти в родительский каталог

       o Функция создания образа автозапуска теперь не использует базы проверенных файлов и все проверенные файлы ДО создания
         образа теряют статус "проверенный". Т.е. в образе статус проверенный имеют лишь файлы прошедшие проверку ЭЦП.

       o Поскольку AutoHotkey используется зловредами то теперь все его актуальные версии выявляются под любым именем по F3 или
         при создании образа автозапуска и получают статус подозрительного файла.
         Соответствующие имени файла скрипты автозапуска добавляются в список автоматически и тоже получают статус подозрительных файлов.
         Содержимое скрипта доступно в окне информации ahk файла.

       o Введены новы лимиты на количество элементов в списке автозапуска для x64 версий в списке может быть до 1 млн. файлов,
         для x86 до 150 тысяч файлов. (Обычно в образе менее 10 тысяч файлов)

       o Оптимизированы функции сортировки, фильтрации и вывода списка.

       o В категории HOSTS добавлен фильтрующий поиск по 2 первым колонкам одновременно.
         Сортировки в этой категории нет, записи представлены в порядке следования в оригинальных файлах.
         Первыми идут записи из HOSTS, что лежит по прописанному в реестре пути, если путь отличается от пути по умолчанию
         то дальше идут записи HOSTS из \Windows\System32\drivers\etc, далее записи из HOSTS.ICS.
         В этой категории теперь работает горячая клавиша DEL.

       o Найдена ошибка в Windows API из-за которой для некоторых файлов не отображался производитель и другая информация о версии файла.
         Сам Windows для таких файлов не отображает случайные параметры на вкладке "Подробно" в свойствах файла.
         Ошибку удалось обойти и теперь в окне информации о файле отображаются все значимые параметры для всех исполняемых файлов.

       o Улучшен альтернативный режим сканирования процессов. (ctrl+p)

       o В контекстное меню окна информации о файле добавлен поиск по имени подписавшего файл.

       o Удалена скриптовая команда EXEC32 за бесполезностью.

       o Из настроек основного списка удален обычный поиск за бесполезностью.

       o Добавлен вывод предупреждения в лог при обнаружении вируса в списке при загрузке производителя и сигнатур про F3.

       o Исправлена и улучшена функция вывода результата исполнения консольных приложений.
         Теперь вывод осуществляется в реальном времени с поддержкой отображения динамического текста в последней строке.
         Проблема с кодировкой для старых систем решена.
         Добавлено время выполнения приложения.

       o Результат выполнения команды gpudpate теперь отображается в логе.

       o Сообщение об отсутствии пользовательского реестра в каталоге "All users"/ProgramData больше не выводится.

       o Немного дополнена документация.

       o Исправлена ошибка из-за которой вместо обычной x64 версии для старых систем запускалась x64v версия.

       o Исправлено ошибочное сообщение в логе при исполнении 44 твика.

       o Исправлена ошибка при сохранении истории задач в образ и при передаче данных из удаленной системы.

       o Исправлена и оптимизирована функция проверки списка по выбранному критерию.

       o Исправлена ошибка с растущим временем отката операции по Ctrl+Z при работе с образом.

       o Исправлена ошибка при определении параметров *OperatingSystemVersion для 64-х битного исполняемого файла.

       o Исправлена ошибка с неправильным откатом операции по HOSTS при работе с образом.

       o Исправлена ошибка подписи образа автозапуска удаленной системы (появилась в v4.15.4)

       o Исправлена функция Добавить в список->Все исполняемые файлы в системных каталогах не старше указанной даты

       o Исправлены мелкие интерфейсные ошибки.
       
×