Перейти к содержанию
Сергей Ильин

Тест антивирусов на быстродействие (подготовка)

Recommended Posts

moJo

Ну что, когда ожидать результатов теста?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

в принципе тест в процессе. причем впервые - в нескольких ипостасях

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
причем впервые - в нескольких ипостасях

Т.е. параллельно идёт тестирование в нескольких местах для того, чтобы можно было сверить результаты?

Или всё же имеется в виду, что в нескольких видах? Тогда в каких? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

да, в нескольких местах+нестандартные конфигурации, которые ближе "домашникам". То есть некоторые из них

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
да, в нескольких местах+нестандартные конфигурации, которые ближе "домашникам". То есть некоторые из них

О-о это будет интересно. :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alexey_Bratt

селерончики селерончики :)) будет жарко :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

не только целерончики, но и атлончики, и пни 4

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
moJo

а core2? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alexey_Bratt

По-моему core2 еще не слишком близок к "домашникам" :) Ну да, пользуются... но кол-во юзеров с целерончиками, атлончиками, пнюшками гораздо больше, чем везунчиков с двухядерниками :) Хотя присутствие в тестах core было бы не плохо :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
moJo

Можно было бы чисто из интереса потестировать qx9770 + 2/4 gb ddr3, но врятли у кого то из здесь присутствующих есть такая связка :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

на более крутых конфигурациях тестят на других площадкахю Методики примерно одинаковы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

т.е. охват нас должен поразить? ((-

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

я этого не говорил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

тупой вопрос, а вы задумывались как будете сводить все эти результаты?

этот тест на быстродействие проводится по куче различных параметров, один антивирус лучше по одним параметрам, другой по другим и какой считать лучшим?

ну можно просто представить таблицы и графики по разным параметрам, это оптимально скажем для меня, но многие жаждут распределения мест на пьдестале почёта, медалек и прочего - а их без сведения к единому знаменателю не будет...как быть

веса задавать - опять начнутся крики, что не так выставлены они

что авторы теста на эту тему думают? а вот Валерий Ледовской чего думает, например, об этой проблеме?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kokunov Aleksey

По мне, так предлженная Валерием интегральная схема очень даже подойдет, тем более ее они довели до ума :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
что авторы теста на эту тему думают? а вот Валерий Ледовской чего думает, например, об этой проблеме?

Здесь метод Саати, предложенный Александром Шабановым, вполне подойдёт. Но веса расставить прийдётся, конечно.

Один из моих студентов недавно обкатал этот метод в своей дипломной работе. Там мы ранжировали компьютеры, расположенные в локальной сети, по различным характеристикам железа и результатам некоторых тестов, запускаемых на компьютерах. Результаты получились вполне себе правдоподобными.

Не думаю, что этот метод годится для интегрального сравнения качества антивирусов в целом, т.к. там сильно расходятся экспертные мнения по важности различных характеристик антивирусов - каждый тянет одеяло на себя, что и понятно. Плюс ещё результаты тестов, на которых строится интегральная оценка, при ближайшем рассмотрении не блещут точностью и сильно зависят от исходных данных (коллекции, методологии и т.п.).

Но вот что касается быстродействия, то здесь метод иерархий Саати применить куда проще. Ведь мало у кого вызовет сомнение, что скорость работы real-time-защиты сильно важнее, чем скорость работы сканера, где больше важны его качества по лечению системы от вирусов, и сканировать можно вообще в ночное время, когда компьютер не загружен.

Как-то так.

По мне, так предлженная Валерием интегральная схема очень даже подойдет

Про какую Вы именно схему говорите? Использование линейной интерполяции? Да, здесь её можно применить для выставления баллов по каждой характеристике. А дальше - метод Саати.

Если кому интересно:

Книга Т. Саати "Принятие решений. Метод анализа иерархий.". Пер. с англ. Р.Г. Вачнадзе. М.: "Радио и связь", 1993, 278с., PDF, 4,37Мб:

http://ledovskoy.com/files/saati.rar

(осталась ещё эта книжка со времён обсуждения "интегрального теста").

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
тупой вопрос, а вы задумывались как будете сводить все эти результаты?

этот тест на быстродействие проводится по куче различных параметров, один антивирус лучше по одним параметрам, другой по другим и какой считать лучшим?

У нас в итоге получаются рейтинг антивирусов по следующим параметрам:

1. Время загрузки ОС

2. Потребляемая память и загрузка процессора

3. Время копирования файлов (+ память и загрузка процессора)

4. Время сканирования (+ память и загрузка процессора)

5. Время запуска 4 различных офисных программ.

6. Время скачивания файла по сети.

7. CPU tests

8. 3d tests

9. Memory tests

10. Compression (Kbytes/sec)

11. Encryption (KBytes/sec)

Все результаты будут рассчитаны в % от эталона, т.е. чистой машины.

*Бонус - время повторного сканирования.

Самый просто вариант - среднее арифметическое по занимаемым местам по каждому из 11 параметром, но мне не вполне нравится этот метод. Если брать веса, то гарантировано найдутся люди, которые будут говорить, что веса надо было брать не такие. Да и в целом система весов сильно усложнит понимание результатов теста, мне это также не нравится.

Есть другой вариант. Критериев сликом много. Предлагаю разбить параметры на группы в соответствие с поставленной задачей (что мы мереем?). Т.е. у нас будут следующие группы параметров:

1. скорость работы монитора (3. Время копирования файлов (+ память и загрузка процессора))

2. скорость работы сканера (4. Время сканирования (+ память и загрузка процессора))

3. нагрузка на ОС (1. Время загрузки ОС, 2. Потребляемая память и загрузка процессора, 5. Время запуска 4 различных офисных программ, 6. Время скачивания файла по сети.).

Внутри этих групп делаем среднее арифметическое. По каждой группе будут свои лидеры и свои медали. Все, просто и понятно как раз для прессы и юзеров. Остальные параметры приведем в отчете для глубинного понимания профи, которые это все просили :)

Естественно, отдельные выводы будут по всем параметрам, постараемся расписать подробно.

P.S. Сколько неожиданных результатов ... готовьтесь друзья :)

Если кому интересно:

Книга Т. Саати "Принятие решений. Метод анализа иерархий."

Валера, за ссылочку спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kokunov Aleksey
P.S. Сколько неожиданных результатов ... готовьтесь друзья

заинтриговали!

Ну и когда же?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ну и когда же?

По сути осталось только обработать данные, это не так долго, но работы тоже не маленькая. На следующей неделе опубликуем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
cander

Вот интересно зачем именно данный тест проводится? Просто ещё такого не было или много людей говорит, что Каспер тормозит.... ну и нудно доказать обратное?

  • Upvote 5
  • Downvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Вот интересно зачем именно данный тест проводится? Просто ещё такого не было или много людей говорит, что Каспер тормозит.... ну и нудно доказать обратное?

Потому что производительность - это один из основных компонентом любого программного продукта. Что касается антивирусного программного обеспечения, я выделяю три основные группы критериев - уровень защиты, производительность, эргономика, разве не так?

Данное исследование покажет количественные показатели для критериев из группы - производительность, при выборе антивирусного продукта практически всегда бывает так, что лучшими по уровню защиты (эргономики) будут целая группа программных комплексов, дальше в принятии решения как раз и будут принимать показатели полученные в этом исследовании. А возможно для кого-то производительность качественно является наиболее приоритетным критерием, такие примеры тоже есть и не мало. К чему я это? К тому, что показатели полученные в этом тесте помогут принять решение в выборе антивирусного продукта в совокупности с другими показателями, причем хочу еще раз заметить это высокоуровневый критерий и его покрытие, по-моему является очень логичным шагом.

Ваши же доводы мне кажутся совершенно поверхностными и нелогичными, а также направлены на разжигание споров неотносящихся по-существу к теме, Вам так не кажется? Или Вы действительно думаете так, как написали? А вообще разовое исследование не может быть доказательство чего-либо и вообще на это не направлено, скорее это "пища для ума", даже серия однотипных исследованиях скорее говорит о тенденциях, нежели быть аксиомой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Вот интересно зачем именно данный тест проводится?

лучшая характеристика любого продукта - не только антивирусного -скажем (название условное) нагрузочное число. Вот его и будем выводить

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
drongo

Я прочитал предложенное Сергей Ильин и подумал, что тестировался запуск 5 программ ( не выбрасывать же данные по пятой, хотя она не совсем офисная )

И ещё сделать под-категорию- The quicker full http monitor.( Не у всех продуктов он есть( имеется ввиду что есть мониторинг порта 80 и остальных на зловредов, а не только чёрный список сайтов.Интересно будет построить график именно тех у кого он есть )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
cander
Потому что производительность - это один из основных компонентом любого программного продукта. Что касается антивирусного программного обеспечения, я выделяю три основные группы критериев - уровень защиты, производительность, эргономика, разве не так?

Так то так, но уровень защиты куда важнее. А эти тесты начали проводить уже после теста на производительность. Хотя после постов Джона и наездов НОДа просматривается отношения данного портала к одному из росийских АВ-вендоров. И смена темы Антивирус Касперского тогмозит на Антивирус Касперского тогмозит. Миф развенчан тоже как-то странно видится. Это я просто свою точку зрения написал. Возможно она не верна. А тесты все равно нужны и интересны.

Ваши же доводы мне кажутся совершенно поверхностными и нелогичными, а также направлены на разжигание споров неотносящихся по-существу к теме, Вам так не кажется? Или Вы действительно думаете так, как написали?

Ну конечно я так думаю раз написал. Может Вы и правы. Все равно результаты тестов выйдут после интервью с Касперским.

З.Ы. Я не разжигаю споров, просто это моё альтернативное мнение. Да и к Касперу хорошо отношусь и за Гостева жалко.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

to cander

понимаете ли ... ваш пост вообще относится к разряду троллевского, что сразу попадает под наказание, потому что:

- "обидный" тезис имеет конкретного адресата

- приводится не обоснование, почему тест не нужен, а просто высказывание что он не нужен (хоть и в виде вопроса) с вызовом к окружающим переубедить вас.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×