Перейти к содержанию
Kopeicev

Тест антивирусов на быстродействие III (подготовка)

Recommended Posts

Kopeicev

Доброго дня коллеги!

Предлагаю обсудить новый тест на быстродействие, который мы скоро будем проводить. На повестке дня много вопросов:

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

2. Список продуктов (будет предложен к обсуждению позже, в этой теме).

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

3.1. Отключить от сети для того чтобы исключить возможность замедления из-за сетевой активности.

3.2. Оставить подключённым к сети т.к. некоторые современные АВ продукты используют "облачные" технологии и с учётом их сетевой активности картина быстродействия будет более полной.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
3. Оставлять ли на момент проведения теста машину с включённым интернетом?

Я думаю, оставлять, но при этом машина должна быть достаточно производительной для того, чтобы сетевая активность НЕ сильно влияла на скорость сканирования.

Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Т.к. тестируется быстродействие, а эти технологии призваны именно сокращать время сканирования и затрачиваемые на него ресурсы, то однозначно их наличие необходимо отражать в таком тесте. Только в результатах при этом должны быть отражены все прогоны, чтобы можно было сравнивать.

Кстати, такие технологии работают по-разному. В некоторых антивирусах после получения очередного обновления список доверенных файлов сбрасывается. Поэтому если в п. 3 оставляем включённый Интернет, то отключаем автоматические обновления баз, но оставляем доступ к "облакам". Как-то так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SySOPik

1. Согласен, XP уже на закате популярности.

3. Интернет оставить, так как у большинства пользователей он есть. Пусть условия будут максимально приближенные к боевым.

4. Однозначно 2 прогона, гораздо интересней не первое сканирование, а как антивирус ведет себя в самом распространенном режиме, к примеру сканирование системы раз в неделю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михуил

согласен с 1 пунктом. только на 7-ке. не за горами день когда и на 8-ке тесты придется прогонять.

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

оставлять. Ведь на практике многие люди сканируют не отрубая Инет, да и "облачные" антивири стоит учитывать.

конечно 2 прогона нужно днлать. заодно можно увидить реально работает оптимизация по сканированию

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Я думаю, оставлять, но при этом машина должна быть достаточно производительной для того, чтобы сетевая активность НЕ сильно влияла на скорость сканирования.

Т.к. тестируется быстродействие, а эти технологии призваны именно сокращать время сканирования и затрачиваемые на него ресурсы, то однозначно их наличие необходимо отражать в таком тесте. Только в результатах при этом должны быть отражены все прогоны, чтобы можно было сравнивать.

Кстати, такие технологии работают по-разному. В некоторых антивирусах после получения очередного обновления список доверенных файлов сбрасывается. Поэтому если в п. 3 оставляем включённый Интернет, то отключаем автоматические обновления баз, но оставляем доступ к "облакам". Как-то так.

Согласен. Лучше так сделать.

ОС Win 7 x86

Однозначно брать эту ОС.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Согласен. Лучше так сделать.

Так-то оно так. Но есть подводный камень. Если отключать автообновление, то тогда сложно будет понять, насколько эти оптимизационные технологии, когда при очередном обновлении сбрасывается список доверенных файлов, действительно помогают ускорять сканирование ;) Интересная задачка, да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Так-то оно так. Но есть подводный камень. Если отключать автообновление, то тогда сложно будет понять, насколько эти оптимизационные технологии, когда при очередном обновлении сбрасывается список доверенных файлов, действительно помогают ускорять сканирование ;) Интересная задачка, да.

Но с другой стороны - тут нужно "раскуривать" каждый продукт, чтобы понять как работают эти технологии. По сути можно тогда сделать так: обновления не отключать, но сканировать повторно предварительно обновив базы. Это будет приближено к реальности. Но обязательно этот момент прописать в методологии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Но с другой стороны - тут нужно "раскуривать" каждый продукт, чтобы понять как работают эти технологии.

Тем ценнее тест, в общем-то. Но главное, чтобы не поставили на счётчик, как некоторых здесь по поводу другого теста ;)

По сути можно тогда сделать так: обновления не отключать, но сканировать повторно предварительно обновив базы. Это будет приближено к реальности. Но обязательно этот момент прописать в методологии.

А можно и так, и так. Просканировать в первый раз. Потом, не обновляя, второй раз. Потом принудительно обновить и третий раз. Интересно? Мне было бы очень интересно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Тем ценнее тест, в общем-то. Но главное, чтобы не поставили на счётчик, как некоторых здесь по поводу другого теста ;)

Это да. :)

А можно и так, и так. Просканировать в первый раз. Потом, не обновляя, второй раз. Потом принудительно обновить и третий раз. Интересно? Мне было бы очень интересно :)

Согласен, интересно, но главное чтобы:

не поставили на счётчик

;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Не?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Не?

Можно и так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

Голосую за Win7x64.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Безусловно проверять эффективность повторной проверки.

3. Оставлять ли на момент проведения теста машину с включённым интернетом?

Безусловно оставлять. Сегодня машина без инета - редкость.

Из этих тестов предлагаю взять:

Benchmark 1: Application Launch

AppTimer was used to measure the time taken to launch Safari web browser. Some antivirus installs plugins or extensions to Internet Explorer or Firefox which will affect the launch time, hence we have chosen Safari browser. 15 launches per set and followed by a reboot. 5 sets were done in total and calculated the average numbers.

Benchmark 2: Boot Time

Instead of using third party software, the more reliable and accurate way to correctly measure Windows 7 boot time is by using Microsoft Windows Performance Toolkit. 5 reboots were done in total and calculated the average numbers.

Benchmark 6: 1st Full Scan

The first full or complete scan time measured. Hard drive contains third party files (C: 14.5GB + D: 11.3GB)

Benchmark 7: 2nd Full Scan

Some antivirus has the technology to skip scanning files that has been scanned/analyzed and not modified. This greatly reduces the scanning time on a large hard drive with a lot of data.

Benchmark 14: Load Website

We used WATIR to instruct loading of 50 websites to Internet Explorer in sequence automatically and the time taken to load all 50 sites were measured with HttpWatch Professional v7.0.24. A free 3 months maintenance license was given for free by HttpWatch to help facilitate this test. Thanks! The 50 sites were hosted in another computer in the local area network running Apache becase testing on real websites via Internet can be inaccurate due to probable instability of internet connection and webhost.

Benchmark 17: File Input Output

We compiled a C++ source code written by http://thepcspy.com/read/what_really_slows_windows_down/ which creates a text file, writes a line, close the file, reopen the file, and write an extra line; repeating for 10,000 times. The application will automatically generate a result file with time taken to complete the process.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Да, была и такая мысль. Но я боялся, что точно счётчик включат :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev

Список:

1. Avast Internet Security 6.0

2. AVG Internet Security 2011

3. Avira Premium Security Suite 10

4. BitDefender Internet Security 2011

5. Comodo Internet Security 5.3

6. Dr.Web Security Space 6.0

7. Emsisoft Anti-Malware 5.1

8. Eset Smart Security 4.2

9. F-Secure Internet Security 2011

10. G DATA Internet Security 2011 (21.1.0.5)

11. Kaspersky Internet Security 2011

12. McAfee Internet Security 2011

13. Microsoft Security Essentials 2

14. Norton Internet Security 2011

15. Outpost Security Suite Pro 7.1

16. Panda Internet Security 2011

17. PC Tools Internet Security 2011

18. Trend Micro Titanium Internet Security 2011

19. VBA32 Personal 3.12

20. ZoneAlarm Internet Security Suite 2010

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Кстати на будущее - предлагаю аналогичный тест сделать на Mac с продуктами для этой платформы. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
deviss
Доброго дня коллеги!

Предлагаю обсудить новый тест на быстродействие, который мы скоро будем проводить. На повестке дня много вопросов:

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

2. Список продуктов (будет предложен к обсуждению позже, в этой теме).

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

3.1. Отключить от сети для того чтобы исключить возможность замедления из-за сетевой активности.

3.2. Оставить подключённым к сети т.к. некоторые современные АВ продукты используют "облачные" технологии и с учётом их сетевой активности картина быстродействия будет более полной.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

1. Выбор Win7 (x86) - совершенно оправдан. И все же, если позволит время: x-64 тоже было бы интересна.

2. -

3. Интернет обязательно включен: не столько из-за "облачности" продуктов, сколько для приближения к реальности. Интернет, пусть самый наимодемнейший, но сейчас почти везде есть.

4. Я слышал у некоторых продуктов при настройках по умолчанию при сканировании (любом: по требованию, по расписанию и т.д.) сначала проверяются объекты автозапуска и/или особо важные системные файлы. В связи с этим вопрос: настройки какие будут - у всех "из коробки"? Или методология будет предусматривать предварительный "напильник"?

4.1. В продолжение: также слышал, что некоторые продукты способны производить сканирование ТОЛЬКО с помощью облака. Как можно будет учесть скорость работы сети для оценки скорости сканирования в этом случае?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Кстати на будущее - предлагаю аналогичный тест сделать на Mac с продуктами для этой платформы. :)

Да, обязательно нужно! МакБук Про для тестировщика подгонишь? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Лучше это брать: http://www.apple.com/ru/macpro/specs.html

Кроме своей бесполезности, тест еще станет "золотым" при покупке Mac Pro :rolleyes:http://market.yandex.ru/search.xml?text=ma...8C&clid=545

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Как бы это шутка была. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Кроме своей бесполезности.

А полезность есть. Проверить реально быстродействие продуктов. Кто больше "тормозит" Mac OS. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Как бы это шутка была. :)

Да я понял, что шутка :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

А этот тест когда?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
А этот тест когда?

Релиз планируем в середине апреля, тест большой, работы много :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

А, ясно. А то предложил взять 2012 KIS...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • PR55.RP55
      Образ:  http://rgho.st/6XQWrPGf7
    • PR55.RP55
      + Получается, что по файлу есть две записи. Полное имя                  C:\PROGRAM FILES\NVIDIA CORPORATION\DISPLAY\NVTRAY.EXE
      Имя файла                   NVTRAY.EXE
      Тек. статус                 АКТИВНЫЙ ПРОВЕРЕННЫЙ [СЕТЕВАЯ_АКТИВНОСТЬ]
                                  
      Сохраненная информация      на момент создания образа
      Статус                      АКТИВНЫЙ ПРОВЕРЕННЫЙ [СЕТЕВАЯ_АКТИВНОСТЬ]
      Процесс                     32-х битный
      File_Id                     506B36F01C4000
      Linker                      10.0
      Размер                      1820520 байт
      Создан                      25.01.2013 в 17:04:40
      Изменен                     03.10.2012 в 06:28:55
                                  
      TimeStamp                   02.10.2012 в 18:48:16
      EntryPoint                  +
      OS Version                  5.0
      Subsystem                   Windows graphical user interface (GUI) subsystem
      IMAGE_FILE_DLL              -
      IMAGE_FILE_EXECUTABLE_IMAGE +
      Тип файла                   32-х битный ИСПОЛНЯЕМЫЙ
      Цифр. подпись               Действительна, подписано NVIDIA Corporation
                                  
      Оригинальное имя            nvtray.exe
      Версия файла                7.17.13.0697
      Версия продукта             7.17.13.0697
      Описание                    NVIDIA Settings
      Производитель               NVIDIA Corporation
                                  
      Доп. информация             на момент обновления списка
      pid = 3020                  USER01-PC\USER01
      CmdLine                     "C:/Program Files/NVIDIA Corporation/Display/nvtray.exe" -user_has_logged_in 1
      Процесс создан              21:14:29 [2018.10.16]
      С момента создания          01:02:58
      CPU                         0,00%
      CPU (1 core)                0,00%
      parentid = 1424             C:\PROGRAM FILES\NVIDIA CORPORATION\DISPLAY\NVXDSYNC.EXE
      UDP                         127.0.0.1:48001
      SHA1                        99F3E0CA5C45ED5061E0131ABC12758F051A795F
      MD5                         D610CDEDF1F702EB0A86B0FBD9BB49E5
                                  
      Ссылки на объект            
      Prefetcher                  C:\WINDOWS\Prefetch\Layout.ini
                                  
      Образы                      EXE и DLL
      NVTRAY.EXE                  C:\PROGRAM FILES\NVIDIA CORPORATION\DISPLAY
                                  
      Загруженные DLL             ИЗВЕСТНЫЕ и ПРОВЕРЕННЫЕ
      ADVAPI32.DLL                C:\WINDOWS\SYSTEM32
      APISETSCHEMA.DLL            C:\WINDOWS\SYSTEM32
      COMCTL32.DLL                C:\WINDOWS\WINSXS\X86_MICROSOFT.WINDOWS.COMMON-CONTROLS_6595B64144CCF1DF_5.82.7601.17514_NONE_EC83DFFA859149AF
      COMCTL32.DLL                C:\WINDOWS\WINSXS\X86_MICROSOFT.WINDOWS.COMMON-CONTROLS_6595B64144CCF1DF_6.0.7601.17514_NONE_41E6975E2BD6F2B2
      COMDLG32.DLL                C:\WINDOWS\SYSTEM32
      CRTDLL.DLL                  C:\WINDOWS\SYSTEM32
      DNSAPI.DLL                  C:\WINDOWS\SYSTEM32
      DWMAPI.DLL                  C:\WINDOWS\SYSTEM32
      EASYDAEMONAPIU.DLL          C:\PROGRAM FILES\NVIDIA CORPORATION\UPDATE COMMON
      FWPUCLNT.DLL                C:\WINDOWS\SYSTEM32
      GDI32.DLL                   C:\WINDOWS\SYSTEM32
      GDIPLUS.DLL                 C:\WINDOWS\WINSXS\X86_MICROSOFT.WINDOWS.GDIPLUS_6595B64144CCF1DF_1.1.7601.17825_NONE_72D273598668A06B
      IMM32.DLL                   C:\WINDOWS\SYSTEM32
      IPHLPAPI.DLL                C:\WINDOWS\SYSTEM32
      KERNEL32.DLL                C:\WINDOWS\SYSTEM32
      KERNELBASE.DLL              C:\WINDOWS\SYSTEM32
      LPK.DLL                     C:\WINDOWS\SYSTEM32
      MSCTF.DLL                   C:\WINDOWS\SYSTEM32
      MSIMG32.DLL                 C:\WINDOWS\SYSTEM32
      MSVCRT.DLL                  C:\WINDOWS\SYSTEM32
      MSWSOCK.DLL                 C:\WINDOWS\SYSTEM32
      NAPINSP.DLL                 C:\WINDOWS\SYSTEM32
      NLAAPI.DLL                  C:\WINDOWS\SYSTEM32
      NSI.DLL                     C:\WINDOWS\SYSTEM32
      NTDLL.DLL                   C:\WINDOWS\SYSTEM32
      NVUI.DLL                    C:\PROGRAM FILES\NVIDIA CORPORATION\DISPLAY
      NVUIR.DLL                   C:\PROGRAM FILES\NVIDIA CORPORATION\DISPLAY
      NVUPDT.DLL                  C:\PROGRAM FILES\NVIDIA CORPORATION\UPDATE COMMON
      NVUPDTR.DLL                 C:\PROGRAM FILES\NVIDIA CORPORATION\UPDATE COMMON
      OLE32.DLL                   C:\WINDOWS\SYSTEM32
      OLEACC.DLL                  C:\WINDOWS\SYSTEM32
      OLEAUT32.DLL                C:\WINDOWS\SYSTEM32
      PNRPNSP.DLL                 C:\WINDOWS\SYSTEM32
      PROFAPI.DLL                 C:\WINDOWS\SYSTEM32
      RASADHLP.DLL                C:\WINDOWS\SYSTEM32
      RPCRT4.DLL                  C:\WINDOWS\SYSTEM32
      SECHOST.DLL                 C:\WINDOWS\SYSTEM32
      SHELL32.DLL                 C:\WINDOWS\SYSTEM32
      SHLWAPI.DLL                 C:\WINDOWS\SYSTEM32
      TV_W32.DLL                  C:\PROGRAM FILES\TEAMVIEWER\VERSION8
      USER32.DLL                  C:\WINDOWS\SYSTEM32
      USERENV.DLL                 C:\WINDOWS\SYSTEM32
      USP10.DLL                   C:\WINDOWS\SYSTEM32
      UXTHEME.DLL                 C:\WINDOWS\SYSTEM32
      VERSION.DLL                 C:\WINDOWS\SYSTEM32
      WINMM.DLL                   C:\WINDOWS\SYSTEM32
      WINNSI.DLL                  C:\WINDOWS\SYSTEM32
      WINRNR.DLL                  C:\WINDOWS\SYSTEM32
      WINSPOOL.DRV                C:\WINDOWS\SYSTEM32
      WINSTA.DLL                  C:\WINDOWS\SYSTEM32
      WS2_32.DLL                  C:\WINDOWS\SYSTEM32
      WSHTCPIP.DLL                C:\WINDOWS\SYSTEM32
      WTSAPI32.DLL                C:\WINDOWS\SYSTEM32
                                  
      Прочие файлы                отображенные в память
      OLEACCRC.DLL                C:\WINDOWS\SYSTEM32
      LOCALE.NLS                  C:\WINDOWS\SYSTEM32
      SORTDEFAULT.NLS             C:\WINDOWS\GLOBALIZATION\SORTING
    • PR55.RP55
      Полное имя                  C:\PROGRAM FILES/NVIDIA CORPORATION/DISPLAY/NVTRAY.EXE
      Имя файла                   PROGRAM FILES/NVIDIA CORPORATION/DISPLAY/NVTRAY.EXE
      Тек. статус                 [Запускался неявно или вручную]
                                  
      Сохраненная информация      на момент создания образа
      Статус                      [Запускался неявно или вручную]
                                  
      Доп. информация             на момент обновления списка
      CmdLine                     "C:/Program Files/NVIDIA Corporation/Display/nvtray.exe" -user_has_logged_in 1
       --------------------- Было несколько образов  с аналогичными данными. Как видно Инфо. в несколько усечённом виде. ---------------------------- " Насчет отображения всех сертификатов, что использованы в ЭЦП " И как я помню в наших любимых драйверах от NVIDIA два сертификата.          
    • Алена Орлова
      Хотите сделать татуировку? Или перекрыть старую и некачественную работу? Записывайтесь в нашу студию! Предлагаем услуги мастера художественной татуировки. Опыт работы более 12 лет. Работаем во всех стилях, все материалы одноразовые, студия в самом центре города. Разработка индивидуального эскиза по вашей идее в подарок Больше работ через личные сообщения
        Услуги сертифицированного мастера пирсера Любые виды проколов, установка любых микродермалов. Для очень нежных есть обезболивающая мазь. Все материалы стерильны, мастер принимает в оборудованной студии в центре города. Украшение для прокола можно приобрести у нас Для уточнения цен на проколы пишите в личные сообщения
      hurtland.ru
      https://vk.com/hurtlandtattoo
    • demkd
      Насчет отображения всех сертификатов, что использованы в ЭЦП я еще подумаю, ну а пока исправление редкой критической ошибки.
      ---------------------------------------------------------
       4.1.1
      ---------------------------------------------------------
       o Исправлена критическая ошибка при работе с удаленной системой возникающая при отдаче команды на удаление ссылок на все отсутствующие объекты,
         если установлен флаг bNetFastLoad и список автозапуска еще ни разу не загружался.  o В окно информации о файле добавлено время последнего запуска некоторых файлов (в основном тех что запускал пользователь).
         Только для новых билдов Windows 10.  
×