Сергей Ильин

Тест антивирусов на быстродействие (подготовка)

В этой теме 234 сообщений

Уважаемые коллеги, мы планируем проведение нового для нашего портала теста антивирусов. На этот раз антивирусные продукты будут сравниваться по скорости работы и потребляемым ресурсам.

Так как тест новый и приличной готовой методологии не существует, то предлагаю в этой теме обсудить предстоящий тест.

В первом приближении я предлагаю рассмотреть следующий план:

I Подготовка теста

1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

2. Установка типового набора ПО (Office, графика, утилиты, игры).

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

4. Измерение базовых характеристик чистой системы.

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

6. Создание образа системы при помощи специально по (Acronis или аналоги).

7. Установка антивируса и его обновление. Настройки остаются по умолчанию, но фиксируются в сводную таблицу (проверка HTTP, проверка типов файлов, включенные модули и т.п.).

9. Перезагрузка системы.

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

11. Создание образа системы.

II Измерение скорости работы файлового монитора и сканера по требованию

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

Отказываемся! 6. Запускаем установку дистрибутива ПО (например, Fotoshop и/или крупная игра).

7. Измерение производительности системы при помощи утилит Office Performance Test, Sysmark, 3DMark и PCMark.

III Измерение потребления ресурсов

8. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний) при помощи утилиты Process Explorer для пункта 3.

9. Измеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний) для пункта 3.

Повторение пунктов 1-9 частей I и II для каждого антивирусного продукта.

Подведение итогов

1. Расчет/нормирование результатов "торможения" системы с антивирусами относительно эталона по каждому критерию.

2. Формирование сводного индекса загрузки системы для каждого антивируса на основании системы весов.

Буду очень рад любым мнениям, замечаниям по предложенной методологии тестирования.

Начало теста – 15 июня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
2. Проверка тестовой коллекции файлов сканером по требованию (2 раза).

Между этими проверками производится обновление вирусных баз.

Ы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Между этими проверками производится обновление вирусных баз.

Ы?

да, надо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я бы добавил сюда измерение времени запуска пары-тройки популярных игрушек типа WoW (этой у меня нет) или C&C (эта у меня есть).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
....несколько типов: исполняемые, архивы, офисные документы, медиа-файлы

Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
4. Запускаем установку дистрибутива ПО (например, fotoshop и/или крупная игра типа Q4)

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит.

Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный ;)

Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я прочел "методологию".

Я надеюсь, авторы теста понимают, что:

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Что касается обновления баз между "первопрогоном" и прогоном с учётом оптимизации если вы хоттите эту оптимизацию учитывать - мысль конечно интересная, направлена она на то чтобы при повторных прогонах мы все на айчекр айсвифт не брали. Но как вы собираетесь тогда создавать условия равные? Если в момент теста пройдет у кого-то обновление, то это обновление может повлиять на результат последующих прогонов.

Да и на самом деле проверяется или не проверяется неизмененный файл зависит в реальной жизни вовсе не только от того обновил ты базы или нет, а от кучи других параметров, которые начинают "играть" только при долгой работе антивирса на компе. Как вы это планируете учитывать мне не очень понятно.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

3.Для тестирования лучше всего использовать среднестатистический компьютер рекомендованного для данной операционной системы уровня, без излишних наворотов таких как многопроцессорность, экстремальный размер оперативки т.д.

4.Тестовые операционные сситемы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

5.Состав тестовой коллекции отдельная тема. Вполне разумным вариантом будет взять и на установленной в отдельном разделе операционной системе поставить все обновления, офис, фотошоп, акробат и другие стандартные приложения, желательно еще SysMark. Далее взять все файлы из Windows, Program Files, Data Files (это если есть SysMark) добавить туда большой объем фотографий, медиафайлов, документов и дистрибутивов программ - вот смешанная коллекция. Плюс к этому при желании можно из этой коллекции специально отобрать файлы размером скажем 10 Mb и дополнительно прогонять на коллеции этих больших файлов.

Специально подсовывать на тестирование определенные (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Коллекцию желательно держать на отдельном жестком диске, который подсоединять при тестировании.

Как я уже сказал, что между замерами в рамках одного теста должна перезагружаться ОС, а между разными тестами полностью откатываться система в исходное состояние (соответственно и перезаливается коллекция).

6.При проверке on-access для чистоты эксперимента желательно копировать с одного физического диска на другой, а не между логическими разделами. Кроме того для совсем чистого эксперимента лучше делать это командой copy (запуская простейший батник)

7.Все замеры по копированию и сканированию лучше проводить при помощи специально написанных батничков, а не с секундомером в руках. Так точнее будет

8."Измерение скорости загрузки системы с установленным антивирусом" Во-первых, после установки антивируса и его обновления система должна быть перезагружена и уже после этого надо замерять дальнейшие перезагрузки. Время первой загрузки после установки абсолютно не показательно, поскольку это единичная история, а пользователю важно сколько он тратит время при ежедневных перезагрузках. Ну если очень хочется, то можно время первой перезагрузки замерять отдельно, а дальше давать усредненное значение нескольких дальнейших загрузок.

9. Важно четко осознавать, что здесь имеется в виду. Если это копирование коллекции файлов с сетевого на локальный диск это одно. Всяческие игры с уже существующей корпоративной сеткой одинаковых условий для всех продуктов не дадут. Тут тогда надо для частоты эксперимента напрямую связывать два компа.

Если мы говорим о скачивании по http, то тут опять же ни о каком использовании закачки с каких либо Интернет ресурсов речи идти не может, поскольку равных условий для продуктов не будет. Опять же напрямую связанные 2 тестовых компа, на одном из которых http сервис.

Кроме того при проверке по http категорически нельзя сравнивать продукты, у которых есть вебантивирус (Касперский, есет, битдефендер) с теми у кого его нет (доктор, симантек и др.)

10. Скорость старта приложений если таковая будет замеряться лучше замерять спецутилитами, например AppTimer.

11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

12. Хотелось бы видеть список продуктов, которые планируется тестировать.

Если же

- проводить тест на виртуалках или на одном и том же компьютере, снося и ставя антивирусы.

-не стараться отсеивать возможные паразитарные эффекты, влияющие на точность результатов

Тогда получится еще один журнальный тест и нашему удивлению от вашей работы не будет предела.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

+1

Кроме того, для адекватной оценки среднего надо каждый тест повторять хотя бы по 5 раз и брать среднее. Возможно, с отбрасыванием двух граничных значений (сверху и снизу).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Куча проблем.

по скачке коллекции - у разных АВ есть / нету Traffic scannera / scanirovanija pakovannih objectov v traffike

по ресурсам - замер скорости и потребления монитора на премере ДрВеб - драйвер - как замерить сколько памяти и процессора жрет драйвер?

По загрузке системы - учитыать технилогии ускорения.

Вобщем каждый "этап теста" должен производится 3 раза, результаты усреднятся.

Опять таки вопрос обновления баз (авто обновлялку надо отключить дабы она не сработала)

Ну и конечно настройки АВ... Опять таки Доктор и каспер с различными оптимизаторами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Измерение потребления ресурсов

1. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

2. Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

То есть коллекция должна быть не пассивной, а активной. Возможно стоит выделить какой-то промежуток времени, может быть пару дней, поставить счетчики и моделировать итерационную файловую активность, тогда мы будем

тенденции, пики и более четкую картину, возможно даже кто-то будет съедать память и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Полностью согласен. Но только гонять надо не на наборе упакованных, а на этих самых дистрибутивах. Чтоб количество упакованных файлов соответсвовало их реальному кол-ву у пользователей. ПРичем тут тупое сканирование на наборе упакованных?

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Думаю надо использовать рекомендуемые настройки, как это делает подавляющее большинство пользователей.

Для упакованных файлов нужно включить, согласен.

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Да, это заложено в описанном мной в первом посте планом. Смотрим время загрузки чистой ОС и с установленным антивирусом. На всякий случай делаем несколько итераций, чтобы свести к минимуму возможные ошибки. Функцию обновления выключаем, чтобы это не отражалось на результатах.

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит. Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Думаю, что на утилитах и нужно остановиться. Если ставить реальные игры по несколько гигабайт, то тест будет золотой по времени его проведения.

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный wink.gif

Если не по Task Manager, то какие есть варианты?

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Я предполагал замерять совокупное потребление памяти, включая свопинг. ИМХО если прога кладет много данных в своп, то моменты обращения к этим данным самым непосредственным образом влияют на производительность системы, поэтому и хотел измерять совокупное потребление памяти.

Если это некорректно, то давайте искать приемлемые варианты, как сделать лучше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Разжевать в частности нужно мне.

Как будет организован тестовый стенд, на каких машинах, как будет организован откат к предыдущему состоянию, как конкретно будет происходить замер сетвого копирования и т.д. и т.п. Чем будут создаваться образы системы для отката. Подобное описание есть необходимое условие для понимания того, насколько тест адекватен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

Уже согласился выше. Будем все выключать.

4.Тестовые операционные системы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

Именно эти ОС и будем брать со всеми актуальными обновлениями.

Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? :) Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поясните плиз, не понял вопроса.

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

А с чего Вы взяли, что я предполагаю тестирование на одном файле?

Поясните плиз, не понял вопроса.

Наверное будет лучше, если я попробую прояснить для себя некоторые вопросы.

Хотелось бы лучше представлять методологию планируемого тестирования.

Если скорость работы монитора, планируется измерять при помощи-

Копирование тестовой коллекции файлов, измерение времени.

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Цитата(Олег Гудилин @ 08.06.2008, 1:19)

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать? Ну если хотите я могу запросить более квалифицированное мнение нашего тестлабв. Но оно боюсь совпадет с

Однако процесс тестирования на виртуальных системах имеет некоторые ограничения: например, виртуальные системы не рекомендуется применять при тестировании производительности (Performance Testing), а также тестировании приложений, предъявляющих высокие требования к физическим ресурсам компьютера.
Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Если вы не собираетесь их учитывать, тогда после каждого прогона нужно откатывать систему на исходную.

Простое отключение механизмов оптимизации не подходит. Кстати эти спорные механизмы использует даже "самый быстрый антивирус". И я еще может быть внесу предложения как можно правильно и честно протестировать скорость при повторных прогонах.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Не забудьте тогда хоть Hibernation и Stand by по таймауту отключить, а то мешать будет. И между замерами откат на исходную, чтобы технологии оптимизации ОС не влияли на сходимость результатов замеров, также как не будут влиять технологии оптимизации антивирусов.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Имхо бред проводить синтетически тесты. Пользователь никогда не сканирует определенные типы файлов, он сканирует виндовые кталоги, программ файлз, папки с дистрибутивами, медиа и документами. Только такие смешанные коллекции могут дать представление о производительности на реальной системе. Вы же производительность тестируете, а не качество и глубину проверки, правильно? Вот и не мешайте все в кучу.

А потом если угодно вы производительность и качество детектирования, проверенное в других тестах, сведете в единую интегрированную оценку, которую портал так долго обсуждал.

Если не по Task Manager, то какие есть варианты?
Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Гм, замеры можно проводить в рамках всех прогонов при помощи Process Explorer http://technet.microsoft.com/ru-ru/sysinte...653(en-us).aspx

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Вот как раз копирование вирусов и нельзя назвать интересным и реально нужным для понимания уровня производительности антивируса. Обычный пользователь что - копирует большое кол-во вирусов туда сюда каждый день? Нет он копирует и удаляет чистые файлы и важно насколько антивирус затрудняет ему этот процесс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать?

Поддерживаю. Такие тесты проводить на виртуалке никак нельзя. Потеря в точности измерений будет существенная. Железо виртуалится не всегда адекватно. На виртуальную систему будут влиять настройки/процессы, происходящие в основной системе (тот же антивирус, установленный в основной системе может при различных прогонах теста в виртуальной системе сбивать результаты в ту или иную сторону).

Почитайте софтварные тесты железа на "железных" сайтах типа http://ferra.ru или http://3dnews.ru . Нигде виртуалка не используется. А данный тест очень зависит именно от характеристик железа. Повторюсь, динамика распределения ресурсов ВМВарей во времени может сильно влиять на результат.

А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

+1

+ нужен Acronis или какая-то альтернатива для сохранения образов конфигураций

+ есть у кого идеи какие бенчмарки могут быть дополнительно использованы в таких тестах? Sysmark?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

нужен Acronis. Восттанавливаем конфигурацию после каждого парциального теста АВ. Кофнфигурация - стандартна - допустим - ОС, офисные приложения - скажем 2003 офис или ХР, архиватор Winrar 3.0, набор файлов - офисных - 1М, 5М, 10 М, архивы - 1М,5М, 10М, самораспаковывающиеся архивы - 1 и 5 М, самораспаковывающиеся архивы - инсталляторы. Стандартный инсталляционный диск - оговариваем. Замер времени - согласен с Гудилиным - отдельная утилита, а не секундомер. По крайности - пишем батник для использования переменной Time (хотя мне и не нравится). Прогонов - 5. Результат - усредняем по принципу анализа точки сходимости - с отбрасываением большего и наименьшего результата. Никаких виртуалок. Анализ задержек при запусках. Сканер - по инсталлятору и самораспаковывающему архиву - инсталлятору. Все настройки документируем отдельно - как описаны вендором. Примерно так - так я делал тесты, начиная с тестов на тендере в банке. Правда, я еще запихивал на разные уровни архива eicar, но в данном случае это неактуально

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

alexgr, вот вам бы этот тест и провести.

нужен человек, который не раз профессионально тестировал производительность, а не тот кто делает это первый раз

лучше даже профессиональный тестер, но вашего опыта есть подозрение тоже будет предостаточно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • evseev.pl
      Ищем дизайнера в команду.   Разыскиваются крутые веб дизайнеры для творческого проекта в красочных проектах студии LegalRC.
      Тематические разделы:
      Кристальный звездопад
      Снежная королева
      Колумбийский барон
      Снуб Дог продакшен
      Марсианин
      Шишкин
      Hydra магазин моментальных кладов Пример дизайна студии: http://shamarc.shop/
      http://bioticrc.com/
      http://bro24.cc/
      http://speedliner24.co/
      http://vitalya-bro.bz/ Оплата попроектаная, от 70к за крутой дизайн.
      Пиши свой джабер под темой и ссылку на портфолио, мы обязательно свяжемся с тобой!
       
    • AM_Bot
      Пользуясь интернетом, вы наверняка услышите о существовании вредоносных веб-сайтов. Сервис Virustotal, например, хорошо известен в Сети тем, что с помощью него можно узнать, какой сайт является вредоносным, а какой безобидным. Но что на самом деле значит факт признания сайта «злонамеренным»? Какие конкретно действия выполняют эти сайты? Давайте попробуем разобраться, как работают такие сайты, как их вычислить и защитить себя.  Каким образом действует вредоносный сайтСайты, заражающие пользователей без взаимодействия с нимиКак можно защитить себяВыводыКаким образом действует вредоносный сайтМожно выделить два основных типа вредоносных сайтов. Первым требуется взаимодействие с пользователем для осуществления заражения, вторым же не нужно никаких действий пользователя. При посещении злонамеренного сайта можно заразиться несколькими способами, например, нажать на рекламный баннер, загрузив себе на компьютер вредоносную программу. Если сайт фишинговый, он может похитить ваши учетные данные, маскируясь под онлайн-банкинг или что-то подобное. Также для заражения порой достаточно просто нажать на ссылку, перейти на сайт и… всё, больше никаких действий не потребуется, все остальное сделает сервер злоумышленника.Рисунок 1. Предупреждение браузера о подозрительном сайтеВ случае загрузки вредоносного файла механизм прост: вы заразите свой компьютер, как только запустите такой файл (это не обязательно должен быть exe-файл, это вполне может быть изображение или PDF). Если же мы говорим о вредоносной рекламе, тут все немного сложнее — часто такая реклама, изначально являясь безобидной, располагается на вполне легитимных и заслуживающих доверия сайтах, только затем оснащаясь вредоносной составляющей, заражающей посетителей этого легитимного сайта. В некоторых случаях для заражения необходимо нажать на такое рекламное объявление, при этом вы будете перенаправлены на злонамеренный веб-сайт. В других случаях от вас не потребуется даже этого, заражение произойдет автоматически, в фоновом режиме.Сайты, заражающие пользователей без взаимодействия с нимиКогда мы говорим о сайтах, способных заражать домашние компьютеры, не требуя каких-либо действий от пользователя, мы задаемся вопросом, как они работают. Ответ заключается в основном в двух технологиях — JavaScript и Flash. Когда вы посещаете сайт, созданный с использованием только HTML (в настоящее время очень редко можно встретить сайт без JavaScript, однако давайте говорить теоретически), основное поведение веб-приложения заключается в том, что вы запрашиваете страницу, а сервер отображает ее в качестве ответа.На стороне клиента в этом случае ничего опасного не происходит. Использование только HTML приводит к многочисленным ограничениям при рендеринге веб-страницы, поэтому вполне вероятно, что веб-разработчик захочет использовать JavaScript — язык, который поможет ему сделать его веб-страницы более запоминающимися и функциональными.Если позволить скриптам выполняться на стороне сервера, это будет сильно перегружать его, поэтому JavaScript выполняет скрипты на стороне клиента (таким образом, скрипт запускается непосредственно на вашем компьютере), что приводит к оптимизации работы сервера.Следовательно, мы имеем ситуацию, в которой вредоносный сайт может выполнить скрипт на компьютере пользователя без его ведома. Более того, злоумышленники сейчас часто используют обфускацию кода, запутывая его и шифруя, поэтому даже при анализе исходного вредоносной кода страницы пользователь не обнаружит ничего подозрительного.Как можно защитить себяГоворя о безопасности в случае, когда сайт пытается заразить вас после определенного действия с вашей стороны, совет простой — избегайте нажатия на рекламные баннеры и загрузки непонятного содержимого на ваш компьютер. Если вам очень хочется нажать на рекламное объявление, рекомендуется сделать это на виртуальной машине или проверить на раннее упомянутом Virustotal, это позволит трезво оценить потенциальный риск.Однако здесь вы можете столкнуться с редиректом или серией редиректов, тогда Virustotal вам вряд ли поможет. Можно, конечно, положиться на работу вашего антивируса и брандмауэра, однако мы все прекрасно понимаем, к чему это обычно приводит.Рисунок 2. Наиболее популярные векторы атакЧто касается второго сценария, когда для заражения от вас не требуется никаких действий, тут рекомендация такова — всегда обновляйте браузер. Большинство таких атак нацелены на уязвимое программное обеспечение, причем используются хорошо известные уязвимости. Поэтому специалисты в области информационной безопасности не устают повторять — обновляйте все, что обновляется у вас в системе.Но и тут есть оговорка — данная стратегия не спасет вас от уязвимостей нулевого дня (0-day). В этом случае можно посмотреть на то, какие браузеры наиболее популярны, и пользоваться менее популярным, так как злоумышленники изначально нацелены на то, чтобы охватить как можно более обширную аудиторию пользователей.В качестве еще одного способа можно создать в браузере некий черный список известных вредоносных сайтов, что гарантированно убережет вас от посещения таких сайтов, однако придется постоянно обновлять такой список, внося новые сайты. Кроме этого, у Google есть такой список сайтов, так что поисковая система непременно отобразит вам предупреждение при попытке посетить злонамеренный веб-сайт.ВыводыОзнакомившись с основными принципами работы вредоносных сайтов, вы сможете сделать правильный выбор, который поможет обеспечить безопасность вашего компьютера. В целом все строится вокруг прописных истин (не посещать сомнительные сайты, обновлять программы), но иногда и популярные легитимные сайты взламывают, размещая на них вредоносный код. Так что просто стоит учитывать общие моменты и понимать степень риска. Читать далее
    • ViktorFazz
      Я постоянно захожу на портал bookmakers24.ru смотрю рейтинги букмекерских контор. Даже когда в командировки езжу, захочу с телефона и ставлю ставки.
    • ViktorFazz
      я себе недавно построил тоже)))
    • AM_Bot
      В статье рассказано о возможностях системы StaffCop Enterprise 4.1 в части аналитики поведения пользователей и выявления аномалий. StaffCop Enterprise — это специализированный продукт с функциями UEBA, DLP и SIEM. Он предназначен для решения комплекса задач по защите от утечек информации, расследования инцидентов внутри организации, контроля бизнес-процессов и мониторинга использования рабочего времени сотрудниками.   ВведениеСбор данныхСтатистический анализИнтеллектуальный анализ. Автоматический детектор аномалийПредупреждение и расследованиеДополнительные возможности StaffCopВыводы  ВведениеОдна из основных, самых серьезных угроз для бизнеса сегодня — это утечки конфиденциальной информации. Как правило, источниками таких угроз являются недобросовестные сотрудники компаний — инсайдеры. Инсайдером может стать абсолютно любой сотрудник: и молодой сисадмин, и сотрудница бухгалтерии. Мотивы у них могут быть совершенно различные: подкуп со стороны конкурентов или заинтересованных лиц, шантаж, личная выгода и многое другое.Традиционно для защиты от утечек применяются системы класса DLP. Но чем сложнее и изощреннее становятся методы атак, тем сложнее DLP-решениям контролировать потенциальные каналы утечек. Классический алгоритм выявления инсайдеров и предотвращения утечек (настроить правило контроля/блокировки — получить уведомление об утечке) работает уже не так эффективно: выявить утечку данных сложно и долго, если, например, «слив» произошел через разрешенные каналы (USB-носители, мессенджеры) и пользователь при этом имел санкционированный доступ к ресурсам.Одним из новых, но достаточно эффективных методов детектирования инсайдеров стал анализ поведения пользователей и выявление аномалий в их поведении. Подход подразумевает, что необычная активность, не соответствующая стандартному профилю, может более точно указывать на потенциальные инциденты информационной безопасности. По классификации Gartner, этот класс решений называется User and Entity Behavior Analytics (UEBA). Это новый тренд, активно набирающий обороты на рынке информационной безопасности. Решения этого класса анализируют образцы поведения пользователей, применяя специализированные алгоритмы и статистический анализ для детектирования значительных аномалий в поведении, указывающих на потенциальные угрозы. Таким образом, UEBA призваны заблаговременно обнаружить и предупредить об отклонениях в поведении.StaffCop Enterprise, о котором мы подробно поговорим в этой статье, — это специализированный продукт с функциями UEBA, DLP и SIEM. Он помогает решать комплекс задач по предотвращению утечек информации, расследованию инцидентов, если таковые произошли, а также контролировать бизнес-процессы и то, как рабочее временя используется сотрудниками. Сбор данныхИнформационная безопасность складывается из двух взаимодополняющих частей: предупреждение и расследование инцидентов. Оба механизма работают быстро и эффективно благодаря архитектуре StaffCop: агенты на рабочих станциях собирают информацию (события), а вся обработка происходит на выделенном сервере.Каждый тип события имеет свой набор измерений, по которым события разных типов могут быть связаны между собой. Каждое событие имеет стандартный набор измерений — данные о компьютере, пользователе, дате и времени, а также собственные атрибуты характерных для данных событий. Например, события типа «почта» имеют дополнительные измерения — данные о приложении, атрибуты, специфичные для диалогов: направление (входящие/исходящие), отправитель, получатель, формат сообщения, канал общения, участники переписки. Рисунок 1. Контроль каналов утечки информации Типы событий в StaffCop Enterprise:время активности — данные о наличии активности;ввод с клавиатуры;вход/выход из системы;посещение сайтов;операции с файлами;сеть — события, связанные с сетевыми подключениями, содержат информацию об IP-адресе подключения и сокете;снимок экрана;снимок с веб-камеры;запись с микрофона;внешние диски — данные об операциях со съемными USB-накопителями;установка ПО — факты установок и деинсталляции программного обеспечения;буфер обмена;интернет-пейджер;почта;перехваченный файл;устройства — данные о подключении и отключении USB-устройств, в том числе тех, которые не являются накопителями;активность — данные, собранные при помощи модуля контроля присутствия на рабочем месте;системный лог — используется для хранения логов агента при отладке;печать документов. Статистический анализВ основе StaffCop Enterprise лежит технология комплексного многомерного анализа данных OLAP, которая позволяет строить многомерные отчеты «на лету» и обрабатывать огромные объемы данных за секунды.Давайте рассмотрим несколько примеров, как в StaffCop можно анализировать поведение пользователей и быстро выявлять их опасные действия на основе статистики с помощью конструктора отчетов, различных таблиц и графиков.Поиск и расследование аномалий на примере файловых операцийЗадача: проанализировать операции копирования файлов с участием съемных носителей. Найдем отклонения от нормального поведения и всплески активности, узнаем, кто это был, что и когда было скопировано.Самым наглядным способом будет построить линейный график количества событий копирования файлов на съемные носители.  Сделать это очень просто — указать интересующий интервал времени, в конструкторе отчетов ограничить набор данных по измерениям «операции копирования», «тип диска: Removable» и выбрать вид отображения «Линейный график». Рисунок 2. Линейный график количества событий копирования файлов Невооруженным взглядом видно значительное превышение фактов копирования файлов в один из дней. При нажатии на вершину графика можно перейти к списку всех операций копирования в этот день.Для детализации данных можно просто кликнуть на нужный узел графика. На картинке ниже мы «провалились» глубже и визуализировали полученные данные с помощью гистограммы, разбив в конструкторе данные по пользователям. Рисунок 3. Детализация данных: гистограмма Если вы предпочитаете числовые значения графическому представлению можно воспользоваться таблицами. Рисунок 4. Визуализация отчета: числовые значения Стоит отметить, что все графики и таблицы имеют собственный конструктор для быстрой детализации и уточнения данных. Рисунок 5. На тепловой диаграмме можно оценить интенсивность и время всех операций исследуемого пользователя В нашем случае пользователь непрерывно копировал файлы с 11:15 до 13:37. В просмотрщике событий легко догадаться, что это исходные коды одного из дистрибутивов Linux, которые были скопированы с жесткого диска на флэш-накопитель Kingston DataTraveler 2.0 USB Device. Рисунок 6. Детализация события в StaffCop Enterprise Таким образом можно быстро и эффективно находить нетипичную активность пользователей или программ. Такие действия применимы практически к любым видам событий.Опасные действия чаще всего возникают при спонтанной активизации:обращения к личной почте;сетевая активность приложений;подключение съемных USB-устройств: флэшек, телефонов и т. п.;использование принтера;активность во внерабочее время. Интеллектуальный анализ. Автоматический детектор аномалийДля того чтобы упростить работу сотрудника службы безопасности для аналитики действий пользователей и выявления отклонений в StaffCop реализован автоматический детектор аномалий. Он анализирует поведение пользователя за выбранный период времени и показывает отклонения от нормального поведения. Рисунок 7. Автоматический детектор аномалий в StaffCop Enterprise Например, каждый сотрудник ежедневно использует одни и те же приложения примерно одинаковое число раз. Если число операций многократно превышает стандартное значение, то StaffCop Enterprise выдает такое событие за аномальное поведение, что может являться потенциальной угрозой.Поиск и расследование аномалий на примере копирования в облакоРабочая инструкция офицера безопасности предприятия может включать различный набор инструкций. В этом примере одной из таких еженедельных рутинных задач является проверка фактов копирования файлов в облачные сервисы.Детектор аномалий позволяет в автоматическом режиме находить отклонения от стандартного поведения пользователей. Для того чтобы эта функция корректно работала, необходимо задать представительный промежуток времени, чтобы система смогла построить паттерны поведения и найти в них отклонения от нормы. Поэтому выбираем 30-дневный период. Рисунок 8. Выбор временного периода для запуска Детектора аномалий Чтобы запустить Детектор аномалий, необходимо нажать соответствующую опцию в выпадающем меню Отчеты. Рисунок 9. Запуск «Детектор аномалий» в StaffCop Enterprise В появившемся отчете находим, что пользователь Oksana в семь раз превысила свою же норму копирования файлов в облачный сервис Dropbox.com. Рисунок 10. Отчет по аномалиям в StaffCop Enterprise Простой комбинацией фильтров в Конструкторе располагаем данные в отчете таким образом, чтобы название считанного с жесткого диска файла появлялось в таблице операций рядом с именем передаваемого в облачный сервис файла. Рисунок 11. В отчете StaffCop Enterprise видно, кто, когда и какие файлы передавал за периметр сети На приведенном скриншоте видно, что в 12:58:28 12 сентября 2017 г. файл «Технико-коммерческое предложение StaffCop Enterprise.docx» был считан с жестокого диска компьютера пользователя Oksana, а в следующую секунду (12:58:29) этот же файл был передан в облачный сервис.Вывод: при помощи Детектора аномалий, встроенного в StaffCop Enterprise 4.1, возможно выявлять инциденты автоматически. Предупреждение и расследованиеДля предупреждения угроз StaffCop имеет емкую библиотеку встроенных фильтров и предоставляет широкие возможности для построения собственных: это может быть ключевая фраза, файл или любое другое событие на компьютере пользователя.Кроме того, в системе предусмотрены также исключающие фильтры (анти-фильтры) — можно исключить из выборки заведомо неинтересные события. Таким образом, возможно коррелировать и фильтровать любые события, содержащиеся в базе данных. Рисунок 12. Исключающие фильтры (анти-фильтры) в StaffCop Enterprise 4.1 Способ оповещения о сработавшем фильтре можно настроить в зависимости от срочности: отправкой сообщения на электронную почту офицера ИБ или уведомлением в панели администратора StaffCop. Дополнительные возможности StaffCopStaffCop Enterprise позволяет также легко контролировать дисциплину сотрудников, выявлять блокирующие факторы и расследовать причины их появления:Учет рабочего времени сотрудников в онлайн-режиме (табель учета рабочего времени, детализированные отчеты о рабочем времени каждого сотрудника).Контроль присутствия на рабочем месте.Снимки экрана.Просмотр удаленного рабочего стола и удаленное управление.Подключение к рабочему столу пользователя осуществляется прямо из консоли администратора в браузере, при желании можно захватить управление компьютером. Рисунок 13. Удаленное подключение к рабочему столу сотрудника компании ВыводыStaffCop Enterprise представляет собой мощный набор инструментов для анализа событий и информации, что позволяет оценивать и контролировать продуктивность сотрудников за компьютерами, быстро и точно расследовать инциденты информационной безопасности внутри предприятия, а также решить широкий спектр задач, связанных с ИБ-аналитикой. С помощью StaffCop Enterprise можно контролировать критичные информационные ресурсы на предмет подозрительной активности и нетипичного поведения.Система имеет гибкую настройку фильтров и оповещений, поэтому возможную утечку или вторжение удается обнаружить на ранней стадии, чем существенно сократить последствия. Глобальная система записи всех возможных событий позволяет в случае произошедшего инцидента быстро добраться до источника утечки и точно назвать время, автора и объем утраченной информации. Тепловые карты активности, графы взаимодействий сотрудников и движения информации, настраиваемые графики событий, предустановленные и пользовательские фильтры — все это помогает отследить любой сценарий поведения. Для анализа не нужно обладать специальными знаниями: достаточно понимать, что ищешь, и просто выбирать поля в форме.Таким образом, StaffCop Enterprise позволяет сократить время, требуемое как на обнаружение реальной угрозы, так и на дальнейшее расследование инцидентов с критичными данными. Читать далее