Тест антивирусов на быстродействие III (подготовка)

[Kopeicev 94]

Доброго дня коллеги!

Предлагаю обсудить новый тест на быстродействие, который мы скоро будем проводить. На повестке дня много вопросов:

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

2. Список продуктов (будет предложен к обсуждению позже, в этой теме).

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

3.1. Отключить от сети для того чтобы исключить возможность замедления из-за сетевой активности.

3.2. Оставить подключённым к сети т.к. некоторые современные АВ продукты используют "облачные" технологии и с учётом их сетевой активности картина быстродействия будет более полной.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

[Valery Ledovskoy 1082]

3. Оставлять ли на момент проведения теста машину с включённым интернетом?

Я думаю, оставлять, но при этом машина должна быть достаточно производительной для того, чтобы сетевая активность НЕ сильно влияла на скорость сканирования.

Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Т.к. тестируется быстродействие, а эти технологии призваны именно сокращать время сканирования и затрачиваемые на него ресурсы, то однозначно их наличие необходимо отражать в таком тесте. Только в результатах при этом должны быть отражены все прогоны, чтобы можно было сравнивать.

Кстати, такие технологии работают по-разному. В некоторых антивирусах после получения очередного обновления список доверенных файлов сбрасывается. Поэтому если в п. 3 оставляем включённый Интернет, то отключаем автоматические обновления баз, но оставляем доступ к "облакам". Как-то так.

[SySOPik 52]

1. Согласен, XP уже на закате популярности.

3. Интернет оставить, так как у большинства пользователей он есть. Пусть условия будут максимально приближенные к боевым.

4. Однозначно 2 прогона, гораздо интересней не первое сканирование, а как антивирус ведет себя в самом распространенном режиме, к примеру сканирование системы раз в неделю.

[Михуил 5]

согласен с 1 пунктом. только на 7-ке. не за горами день когда и на 8-ке тесты придется прогонять.

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

оставлять. Ведь на практике многие люди сканируют не отрубая Инет, да и "облачные" антивири стоит учитывать.

конечно 2 прогона нужно днлать. заодно можно увидить реально работает оптимизация по сканированию

[Danilka 678]

Я думаю, оставлять, но при этом машина должна быть достаточно производительной для того, чтобы сетевая активность НЕ сильно влияла на скорость сканирования.

Т.к. тестируется быстродействие, а эти технологии призваны именно сокращать время сканирования и затрачиваемые на него ресурсы, то однозначно их наличие необходимо отражать в таком тесте. Только в результатах при этом должны быть отражены все прогоны, чтобы можно было сравнивать.

Кстати, такие технологии работают по-разному. В некоторых антивирусах после получения очередного обновления список доверенных файлов сбрасывается. Поэтому если в п. 3 оставляем включённый Интернет, то отключаем автоматические обновления баз, но оставляем доступ к "облакам". Как-то так.

Согласен. Лучше так сделать.

ОС Win 7 x86

Однозначно брать эту ОС.

[Valery Ledovskoy 1082]

Согласен. Лучше так сделать.

Так-то оно так. Но есть подводный камень. Если отключать автообновление, то тогда сложно будет понять, насколько эти оптимизационные технологии, когда при очередном обновлении сбрасывается список доверенных файлов, действительно помогают ускорять сканирование Интересная задачка, да.

[Danilka 678]

Так-то оно так. Но есть подводный камень. Если отключать автообновление, то тогда сложно будет понять, насколько эти оптимизационные технологии, когда при очередном обновлении сбрасывается список доверенных файлов, действительно помогают ускорять сканирование Интересная задачка, да.

Но с другой стороны - тут нужно "раскуривать" каждый продукт, чтобы понять как работают эти технологии. По сути можно тогда сделать так: обновления не отключать, но сканировать повторно предварительно обновив базы. Это будет приближено к реальности. Но обязательно этот момент прописать в методологии.

[Valery Ledovskoy 1082]

Но с другой стороны - тут нужно "раскуривать" каждый продукт, чтобы понять как работают эти технологии.

Тем ценнее тест, в общем-то. Но главное, чтобы не поставили на счётчик, как некоторых здесь по поводу другого теста

По сути можно тогда сделать так: обновления не отключать, но сканировать повторно предварительно обновив базы. Это будет приближено к реальности. Но обязательно этот момент прописать в методологии.

А можно и так, и так. Просканировать в первый раз. Потом, не обновляя, второй раз. Потом принудительно обновить и третий раз. Интересно? Мне было бы очень интересно

[Danilka 678]

Тем ценнее тест, в общем-то. Но главное, чтобы не поставили на счётчик, как некоторых здесь по поводу другого теста

Это да.

А можно и так, и так. Просканировать в первый раз. Потом, не обновляя, второй раз. Потом принудительно обновить и третий раз. Интересно? Мне было бы очень интересно

Согласен, интересно, но главное чтобы:

не поставили на счётчик

[Umnik 997]

Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Не?

[Danilka 678]

Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Не?

Можно и так.

[zzkk 130]

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

Голосую за Win7x64.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

Безусловно проверять эффективность повторной проверки.

3. Оставлять ли на момент проведения теста машину с включённым интернетом?

Безусловно оставлять. Сегодня машина без инета - редкость.

Из этих тестов предлагаю взять:

Benchmark 1: Application Launch

AppTimer was used to measure the time taken to launch Safari web browser. Some antivirus installs plugins or extensions to Internet Explorer or Firefox which will affect the launch time, hence we have chosen Safari browser. 15 launches per set and followed by a reboot. 5 sets were done in total and calculated the average numbers.

Benchmark 2: Boot Time

Instead of using third party software, the more reliable and accurate way to correctly measure Windows 7 boot time is by using Microsoft Windows Performance Toolkit. 5 reboots were done in total and calculated the average numbers.

Benchmark 6: 1st Full Scan

The first full or complete scan time measured. Hard drive contains third party files (C: 14.5GB + D: 11.3GB)

Benchmark 7: 2nd Full Scan

Some antivirus has the technology to skip scanning files that has been scanned/analyzed and not modified. This greatly reduces the scanning time on a large hard drive with a lot of data.

Benchmark 14: Load Website

We used WATIR to instruct loading of 50 websites to Internet Explorer in sequence automatically and the time taken to load all 50 sites were measured with HttpWatch Professional v7.0.24. A free 3 months maintenance license was given for free by HttpWatch to help facilitate this test. Thanks! The 50 sites were hosted in another computer in the local area network running Apache becase testing on real websites via Internet can be inaccurate due to probable instability of internet connection and webhost.

Benchmark 17: File Input Output

We compiled a C++ source code written by http://thepcspy.com/read/what_really_slows_windows_down/ which creates a text file, writes a line, close the file, reopen the file, and write an extra line; repeating for 10,000 times. The application will automatically generate a result file with time taken to complete the process.

[Valery Ledovskoy 1082]

Прогон

Три прогона (оптимизация) -> средняя

Принудительное обновление баз

Прогон

Да, была и такая мысль. Но я боялся, что точно счётчик включат

[Kopeicev 94]

Список:

1. Avast Internet Security 6.0

2. AVG Internet Security 2011

3. Avira Premium Security Suite 10

4. BitDefender Internet Security 2011

5. Comodo Internet Security 5.3

6. Dr.Web Security Space 6.0

7. Emsisoft Anti-Malware 5.1

8. Eset Smart Security 4.2

9. F-Secure Internet Security 2011

10. G DATA Internet Security 2011 (21.1.0.5)

11. Kaspersky Internet Security 2011

12. McAfee Internet Security 2011

13. Microsoft Security Essentials 2

14. Norton Internet Security 2011

15. Outpost Security Suite Pro 7.1

16. Panda Internet Security 2011

17. PC Tools Internet Security 2011

18. Trend Micro Titanium Internet Security 2011

19. VBA32 Personal 3.12

20. ZoneAlarm Internet Security Suite 2010

[Danilka 678]

Кстати на будущее - предлагаю аналогичный тест сделать на Mac с продуктами для этой платформы.

[deviss 75]

Доброго дня коллеги!

Предлагаю обсудить новый тест на быстродействие, который мы скоро будем проводить. На повестке дня много вопросов:

1. ОС, сейчас мы склоняемся к решению о проведении теста на ОС Win 7 x86 и отказе о проведении подобных тестов на Win XP. + Есть планы на тестирование быстродействия на Win 7 x64, но это не сейчас.

2. Список продуктов (будет предложен к обсуждению позже, в этой теме).

3. Оставлять ли на момент проведения теста машину с включённым интернетом? Есть 2 мнения:

3.1. Отключить от сети для того чтобы исключить возможность замедления из-за сетевой активности.

3.2. Оставить подключённым к сети т.к. некоторые современные АВ продукты используют "облачные" технологии и с учётом их сетевой активности картина быстродействия будет более полной.

4. Сканирование файлов. Некоторые АВ продукты используют системы запоминания контрольных сумм уже проверенных файлов и при повторном сканировании эти файлы второй раз не проверяются (как например iChecker у ЛК). Стоит ли тестировать быстродействие на сканировании дважды для того чтобы увидеть оптимизацию? Или делать только один прогон?

1. Выбор Win7 (x86) - совершенно оправдан. И все же, если позволит время: x-64 тоже было бы интересна.

2. -

3. Интернет обязательно включен: не столько из-за "облачности" продуктов, сколько для приближения к реальности. Интернет, пусть самый наимодемнейший, но сейчас почти везде есть.

4. Я слышал у некоторых продуктов при настройках по умолчанию при сканировании (любом: по требованию, по расписанию и т.д.) сначала проверяются объекты автозапуска и/или особо важные системные файлы. В связи с этим вопрос: настройки какие будут - у всех "из коробки"? Или методология будет предусматривать предварительный "напильник"?

4.1. В продолжение: также слышал, что некоторые продукты способны производить сканирование ТОЛЬКО с помощью облака. Как можно будет учесть скорость работы сети для оценки скорости сканирования в этом случае?

[Kopeicev 94]

Кстати на будущее - предлагаю аналогичный тест сделать на Mac с продуктами для этой платформы.

Да, обязательно нужно! МакБук Про для тестировщика подгонишь?

[Danilka 678]

Да, обязательно нужно! МакБук Про для тестировщика подгонишь?

Лучше это брать: http://www.apple.com/ru/macpro/specs.html

[SDA 750]

Лучше это брать: http://www.apple.com/ru/macpro/specs.html

Кроме своей бесполезности, тест еще станет "золотым" при покупке Mac Pro http://market.yandex.ru/search.xml?text=ma...8C&clid=545

[Danilka 678]

Как бы это шутка была.

[Danilka 678]

Кроме своей бесполезности.

А полезность есть. Проверить реально быстродействие продуктов. Кто больше "тормозит" Mac OS.

[SDA 750]

Как бы это шутка была.

Да я понял, что шутка

[Danilka 678]

А этот тест когда?

[Kopeicev 94]

А этот тест когда?

Релиз планируем в середине апреля, тест большой, работы много

[Danilka 678]

А, ясно. А то предложил взять 2012 KIS...