Перейти к содержанию
Сергей Ильин

Тест антивирусов на быстродействие (подготовка)

Recommended Posts

Сергей Ильин

Уважаемые коллеги, мы планируем проведение нового для нашего портала теста антивирусов. На этот раз антивирусные продукты будут сравниваться по скорости работы и потребляемым ресурсам.

Так как тест новый и приличной готовой методологии не существует, то предлагаю в этой теме обсудить предстоящий тест.

В первом приближении я предлагаю рассмотреть следующий план:

I Подготовка теста

1. Подготовка чистых реальных машин с установленной XP SP2 и Vista SP1 со всеми актуальными обновлениями.

2. Установка типового набора ПО (Office, графика, утилиты, игры).

3. Отключение "паразитных" функций ОС, способных повлиять на результат теста (обновления, скринсейверы, кибернация и т.п.)

4. Измерение базовых характеристик чистой системы.

5. Формирование тестовой коллекции чистых файлов (набор системных папок + установленный набор софта и их дистрибутивы + офисные документы различного типа и размера). Создаем описание тестовой коллекции файлов по типам и размерам.

6. Создание образа системы при помощи специально по (Acronis или аналоги).

7. Установка антивируса и его обновление. Настройки остаются по умолчанию, но фиксируются в сводную таблицу (проверка HTTP, проверка типов файлов, включенные модули и т.п.).

9. Перезагрузка системы.

10. Отключение функций автоматического обновление антивируса и старта других задач по расписанию.

11. Создание образа системы.

II Измерение скорости работы файлового монитора и сканера по требованию

1. Измерение скорости загрузки системы с установленным антивирусом (первая загрузка из образа).

2. Копирование тестовой коллекции файлов, измерение времени (5 раз). Откат системы после каждого прогона.

3. Проверка тестовой коллекции файлов сканером по требованию (5 раз). Откат системы после каждого прогона.

3а*. Повторная проверка тестовой коллекции сканером для определения эффективности работы технологий оптимизации (факультативно).

4. Скачиваем из изолированной локальной сети набор файлов по протоколу http (несколько раз) и замеряем время при помощи специального BAT-файла.

5. Измеряем время старта типовых приложений (IE, Outlook, Word, Acrobat, Photoshop) и игр при помощи утилиты AppTimer.

Отказываемся! 6. Запускаем установку дистрибутива ПО (например, Fotoshop и/или крупная игра).

7. Измерение производительности системы при помощи утилит Office Performance Test, Sysmark, 3DMark и PCMark.

III Измерение потребления ресурсов

8. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний) при помощи утилиты Process Explorer для пункта 3.

9. Измеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний) для пункта 3.

Повторение пунктов 1-9 частей I и II для каждого антивирусного продукта.

Подведение итогов

1. Расчет/нормирование результатов "торможения" системы с антивирусами относительно эталона по каждому критерию.

2. Формирование сводного индекса загрузки системы для каждого антивируса на основании системы весов.

Буду очень рад любым мнениям, замечаниям по предложенной методологии тестирования.

Начало теста – 15 июня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Winny
2. Проверка тестовой коллекции файлов сканером по требованию (2 раза).

Между этими проверками производится обновление вирусных баз.

Ы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Между этими проверками производится обновление вирусных баз.

Ы?

да, надо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Я бы добавил сюда измерение времени запуска пары-тройки популярных игрушек типа WoW (этой у меня нет) или C&C (эта у меня есть).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EYE
....несколько типов: исполняемые, архивы, офисные документы, медиа-файлы

Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
4. Запускаем установку дистрибутива ПО (например, fotoshop и/или крупная игра типа Q4)

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит.

Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ashot
Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный ;)

Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин

Я прочел "методологию".

Я надеюсь, авторы теста понимают, что:

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Что касается обновления баз между "первопрогоном" и прогоном с учётом оптимизации если вы хоттите эту оптимизацию учитывать - мысль конечно интересная, направлена она на то чтобы при повторных прогонах мы все на айчекр айсвифт не брали. Но как вы собираетесь тогда создавать условия равные? Если в момент теста пройдет у кого-то обновление, то это обновление может повлиять на результат последующих прогонов.

Да и на самом деле проверяется или не проверяется неизмененный файл зависит в реальной жизни вовсе не только от того обновил ты базы или нет, а от кучи других параметров, которые начинают "играть" только при долгой работе антивирса на компе. Как вы это планируете учитывать мне не очень понятно.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

3.Для тестирования лучше всего использовать среднестатистический компьютер рекомендованного для данной операционной системы уровня, без излишних наворотов таких как многопроцессорность, экстремальный размер оперативки т.д.

4.Тестовые операционные сситемы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

5.Состав тестовой коллекции отдельная тема. Вполне разумным вариантом будет взять и на установленной в отдельном разделе операционной системе поставить все обновления, офис, фотошоп, акробат и другие стандартные приложения, желательно еще SysMark. Далее взять все файлы из Windows, Program Files, Data Files (это если есть SysMark) добавить туда большой объем фотографий, медиафайлов, документов и дистрибутивов программ - вот смешанная коллекция. Плюс к этому при желании можно из этой коллекции специально отобрать файлы размером скажем 10 Mb и дополнительно прогонять на коллеции этих больших файлов.

Специально подсовывать на тестирование определенные (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Коллекцию желательно держать на отдельном жестком диске, который подсоединять при тестировании.

Как я уже сказал, что между замерами в рамках одного теста должна перезагружаться ОС, а между разными тестами полностью откатываться система в исходное состояние (соответственно и перезаливается коллекция).

6.При проверке on-access для чистоты эксперимента желательно копировать с одного физического диска на другой, а не между логическими разделами. Кроме того для совсем чистого эксперимента лучше делать это командой copy (запуская простейший батник)

7.Все замеры по копированию и сканированию лучше проводить при помощи специально написанных батничков, а не с секундомером в руках. Так точнее будет

8."Измерение скорости загрузки системы с установленным антивирусом" Во-первых, после установки антивируса и его обновления система должна быть перезагружена и уже после этого надо замерять дальнейшие перезагрузки. Время первой загрузки после установки абсолютно не показательно, поскольку это единичная история, а пользователю важно сколько он тратит время при ежедневных перезагрузках. Ну если очень хочется, то можно время первой перезагрузки замерять отдельно, а дальше давать усредненное значение нескольких дальнейших загрузок.

9. Важно четко осознавать, что здесь имеется в виду. Если это копирование коллекции файлов с сетевого на локальный диск это одно. Всяческие игры с уже существующей корпоративной сеткой одинаковых условий для всех продуктов не дадут. Тут тогда надо для частоты эксперимента напрямую связывать два компа.

Если мы говорим о скачивании по http, то тут опять же ни о каком использовании закачки с каких либо Интернет ресурсов речи идти не может, поскольку равных условий для продуктов не будет. Опять же напрямую связанные 2 тестовых компа, на одном из которых http сервис.

Кроме того при проверке по http категорически нельзя сравнивать продукты, у которых есть вебантивирус (Касперский, есет, битдефендер) с теми у кого его нет (доктор, симантек и др.)

10. Скорость старта приложений если таковая будет замеряться лучше замерять спецутилитами, например AppTimer.

11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

12. Хотелось бы видеть список продуктов, которые планируется тестировать.

Если же

- проводить тест на виртуалках или на одном и том же компьютере, снося и ставя антивирусы.

-не стараться отсеивать возможные паразитарные эффекты, влияющие на точность результатов

Тогда получится еще один журнальный тест и нашему удивлению от вашей работы не будет предела.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent
11. Хотелось бы узнать какими средствами планируется замерять потребления ресурсов. Надеюсь не диспетчером задач?

+1

Кроме того, для адекватной оценки среднего надо каждый тест повторять хотя бы по 5 раз и брать среднее. Возможно, с отбрасыванием двух граничных значений (сверху и снизу).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Куча проблем.

по скачке коллекции - у разных АВ есть / нету Traffic scannera / scanirovanija pakovannih objectov v traffike

по ресурсам - замер скорости и потребления монитора на премере ДрВеб - драйвер - как замерить сколько памяти и процессора жрет драйвер?

По загрузке системы - учитыать технилогии ускорения.

Вобщем каждый "этап теста" должен производится 3 раза, результаты усреднятся.

Опять таки вопрос обновления баз (авто обновлялку надо отключить дабы она не сработала)

Ну и конечно настройки АВ... Опять таки Доктор и каспер с различными оптимизаторами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EYE
Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Измерение потребления ресурсов

1. Измеряем размер потребляемой памяти в состоянии покоя и при сканировании тестовой коллекции (максимальный, средний).

2. Замеряем использование CPU в состоянии покоя и при сканировании (максимальный, средний)

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

То есть коллекция должна быть не пассивной, а активной. Возможно стоит выделить какой-то промежуток времени, может быть пару дней, поставить счетчики и моделировать итерационную файловую активность, тогда мы будем

тенденции, пики и более четкую картину, возможно даже кто-то будет съедать память и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
На данный момент, труднее найти дистрибутив (вне зависимости от размера) с тем или иным программным продуктом, либо игрой,

в котором не присутствуют упакованные файлы, чем тот, в котором они отсутствуют.

Соответственно, подобные файлы, в изобилии присутствуют у обычного пользователя на компьютере.

Можно будет увидеть, насколько быстро справляется эмулятор тех или иных продуктов,

сталкиваясь с подобными дистрибутивами, либо файлами.

Полностью согласен. Но только гонять надо не на наборе упакованных, а на этих самых дистрибутивах. Чтоб количество упакованных файлов соответсвовало их реальному кол-ву у пользователей. ПРичем тут тупое сканирование на наборе упакованных?

Да, кстати, а как практически, авторы теста планируют измерять скорость работы файлового монитора?

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Упакованные файлы?

Настройки антивирусного ПО ? -

1. Рекомендуемые

2. Максимально возможные

Думаю надо использовать рекомендуемые настройки, как это делает подавляющее большинство пользователей.

Для упакованных файлов нужно включить, согласен.

думаю - важно. Загрузка ОС без антивируса. Старт приложений на машине без антивируса. Тогда будет видна задержка, вносимая установленным антивирусом.

Да, это заложено в описанном мной в первом посте планом. Смотрим время загрузки чистой ОС и с установленным антивирусом. На всякий случай делаем несколько итераций, чтобы свести к минимуму возможные ошибки. Функцию обновления выключаем, чтобы это не отражалось на результатах.

Методология теста пока на методологию не тянет, не описано фактически ничего, даже тестовый стенд толком не описан

Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Из игр лучше TestDriveUnlimited. У меня 1240x1024 только на Core2Quad с 4Гб ОЗУ комфортно стало. Хорошо процессор грузит. Или Crysis. Там даже демо-утилита есть какая-то для тестирования производительности.

А можно использовать заслуженные тесты типа 3DMark и PCMark... Q4 - это уже несколько неактуально, ИМХО.

Думаю, что на утилитах и нужно остановиться. Если ставить реальные игры по несколько гигабайт, то тест будет золотой по времени его проведения.

Как? По Task Manager? Если да, то это не корректно. Что с того, что там будет скажем 90% занято каким-то процессом какого-то антивируса? Это не значит, что он сволочь такая сожрал и никому не дает работать. Это лишь значит, что система в данный конкретный момент времени решила, что ему можно выделить столько процессорного времени. Вытесняющая многозадочность... Тест бесполезный ибо даже вредный wink.gif

Если не по Task Manager, то какие есть варианты?

Опять же какой памяти? Виртуальной (включая свопинг)? Или память ядра, тогда ИМХО имеет смысл только non paged pool смотреть, ибо только он критичный - остальное все свопитсяи к продукту имеет опосредованное отношение, тут memory manager винды больше рояля играет.

Я предполагал замерять совокупное потребление памяти, включая свопинг. ИМХО если прога кладет много данных в своп, то моменты обращения к этим данным самым непосредственным образом влияют на производительность системы, поэтому и хотел измерять совокупное потребление памяти.

Если это некорректно, то давайте искать приемлемые варианты, как сделать лучше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Что нужно конкретно описать в части тестового стенда? Кому из заинтересованных лиц надо это разжёвывать? Необходимый минимум я указал - будем смотреть XP и Vista.

Разжевать в частности нужно мне.

Как будет организован тестовый стенд, на каких машинах, как будет организован откат к предыдущему состоянию, как конкретно будет происходить замер сетвого копирования и т.д. и т.п. Чем будут создаваться образы системы для отката. Подобное описание есть необходимое условие для понимания того, насколько тест адекватен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

2 Необходимо для всех тестов делать несколько замеров и брать усредненные значения. Причем если вы собираетесь учитывать технологии оптимизации (а с тут будут проблемы), то несколько замеров как учитывающих технологи оптимазации, так и не учитывающих. Соответсвенно между одинаковыми замерами надо производить откат системы назад, а между "первопрогонным замером" и замером с учётом оптимизации нужно перезагружать системы дабы убрать функции оптимизации самой ОС.

Т.е. последовательность примерно такая: первопрогон, перзагрузка, второй прогон, откат системы, повтор цикла, повтор цикла...берем усредненные значения первого и второго прогонов.

Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Откат либо перезагрузка машины должны в принципе проводиться между любыми двумя замерами. С рекомендациями MS по настройке тестовой ОС можно ознакомиться тут: http://www.microsoft.com/whdc/system/sysperf/default.mspx Надо отключать все скринсервер, хибернейт и поч и проч.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Все задачи по расписанию в антивирусе должны быть естественно отключены, антивирус должен закончить все проверки, которые он выполняет при старте системы.

Уже согласился выше. Будем все выключать.

4.Тестовые операционные системы разумно брать XP 32bit SP3 и Vista 32bit SP1 со всеми рекомендованными обновлениями.

Именно эти ОС и будем брать со всеми актуальными обновлениями.

Специально подсовывать на тестирование определённые (например упакованные) файлы не имеет практического смысла – нужно тестировать на том, что обычно у пользователя есть на компьютере.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? :) Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Каким образом, будет измеряться _мгновенное_ срабатывание монитора, скажем продукта A, и далеко

не мгновенное срабатывание продукта B ?

Поясните плиз, не понял вопроса.

Имеет ли смысл смотреть вообще потребляемые ресурсы сканером? В этом плане солидарен с Ашотом.

Такое исследование имело бы более интересные результаты для анализа производительности именно монитора.

может-как по мне-для заявленного исследования и вовсе не стоит проводить замеры загрузки проца и памяти? цифры времени куда убедительнее

Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EYE
Чегось? Вы предполагаете замеры будут на одном файле производиться? Не дай бог.

А с чего Вы взяли, что я предполагаю тестирование на одном файле?

Поясните плиз, не понял вопроса.

Наверное будет лучше, если я попробую прояснить для себя некоторые вопросы.

Хотелось бы лучше представлять методологию планируемого тестирования.

Если скорость работы монитора, планируется измерять при помощи-

Копирование тестовой коллекции файлов, измерение времени.

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Цитата(Олег Гудилин @ 08.06.2008, 1:19)

1.Этот тест нельзя проводить на виртуальных машинах ибо они не могут имитировать производительность реальной системы и более того такое тестирование заведомо не может обеспечить одинаковые условия для всех тестируемых. Нужна реальная машина + Acronis для создания образов системы и возможности отката системы в исходное положение не только при переходе от продукта к продукту, но и между разными тестами одного и того же продукта.

Обоснуйте.

А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать? Ну если хотите я могу запросить более квалифицированное мнение нашего тестлабв. Но оно боюсь совпадет с

Однако процесс тестирования на виртуальных системах имеет некоторые ограничения: например, виртуальные системы не рекомендуется применять при тестировании производительности (Performance Testing), а также тестировании приложений, предъявляющих высокие требования к физическим ресурсам компьютера.
Безусловно, будет несколько замеров, чтобы минимизировать попадание в результаты случайных значений. Технологии оптимизации типа iChecker не будут учитываться в результатах, мы лишь посмотрим их эффективность для спортивного интереса. Данные технологии спорные по своей природе, поэтому мы не будем их учитывать, чтобы не ставить под вопросы весь тест.

Если вы не собираетесь их учитывать, тогда после каждого прогона нужно откатывать систему на исходную.

Простое отключение механизмов оптимизации не подходит. Кстати эти спорные механизмы использует даже "самый быстрый антивирус". И я еще может быть внесу предложения как можно правильно и честно протестировать скорость при повторных прогонах.

Не думаю, что рядовые пользователи антивирусов следуют этим рекомендациям Microsoft. Поэтому я принципиально не согласен что-либо отключить в настройках ОС по умолчанию.

Не забудьте тогда хоть Hibernation и Stand by по таймауту отключить, а то мешать будет. И между замерами откат на исходную, чтобы технологии оптимизации ОС не влияли на сходимость результатов замеров, также как не будут влиять технологии оптимизации антивирусов.

Не соглашусь. А каким образом тогда учитывать количество проверенных файлов? Антивирус А проверяет почти все файлы, а антивирус Б только определенный набор типов файлов. И как это сравнивать можно? ИМХО - бред.

Идея создания коллекции определенных видов файлов как раз для того, чтобы проверялись все файлы всеми антивирусами.

Имхо бред проводить синтетически тесты. Пользователь никогда не сканирует определенные типы файлов, он сканирует виндовые кталоги, программ файлз, папки с дистрибутивами, медиа и документами. Только такие смешанные коллекции могут дать представление о производительности на реальной системе. Вы же производительность тестируете, а не качество и глубину проверки, правильно? Вот и не мешайте все в кучу.

А потом если угодно вы производительность и качество детектирования, проверенное в других тестах, сведете в единую интегрированную оценку, которую портал так долго обсуждал.

Если не по Task Manager, то какие есть варианты?
Ресурсоемкость сканера интересно посмотреть факультативно, учитываться в результатах теста будет только ресурсоемкость антивирусного монитора.

Возможно, нужно вообще выбросить блок по замеру загрузки процессора и оперативки, если мы не придем здесь к приемлемому варианту методологии.

Гм, замеры можно проводить в рамках всех прогонов при помощи Process Explorer http://technet.microsoft.com/ru-ru/sysinte...653(en-us).aspx

и речь идет о тестовой коллекции чистых файлов, то тогда вопросов не возникает,

просто копируются файлы и замеряется время копирования.

(Хотя не знаю, можно ли назвать такое измерение интересным?)

Если же идет речь о копировании malware, то это уже совсем другое,

и возникают дополнительные вопросы- например, какие экземпляры

будут использоваться (заведомо детектируемые всеми антивирусными продуктами,

участвующими в тестировании или какие-либо ещё?) и т.д.

Вот как раз копирование вирусов и нельзя назвать интересным и реально нужным для понимания уровня производительности антивируса. Обычный пользователь что - копирует большое кол-во вирусов туда сюда каждый день? Нет он копирует и удаляет чистые файлы и важно насколько антивирус затрудняет ему этот процесс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
А чего тут обосновывать? Скорость работы и реально выделяемые вмварью виртуалке ресурсы процессора могут быть разными при каждом запуске вмвари. Вам никогда не приходилось сталкиваться с тем, что вдруг неожидано виртуалка с установленным продуктом начинала жутко подтормаживать?

Поддерживаю. Такие тесты проводить на виртуалке никак нельзя. Потеря в точности измерений будет существенная. Железо виртуалится не всегда адекватно. На виртуальную систему будут влиять настройки/процессы, происходящие в основной системе (тот же антивирус, установленный в основной системе может при различных прогонах теста в виртуальной системе сбивать результаты в ту или иную сторону).

Почитайте софтварные тесты железа на "железных" сайтах типа http://ferra.ru или http://3dnews.ru . Нигде виртуалка не используется. А данный тест очень зависит именно от характеристик железа. Повторюсь, динамика распределения ресурсов ВМВарей во времени может сильно влиять на результат.

А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
А в чём принципиальная проблема выделить два стендовых компьютера для проведения теста? Можно даже с разным железом. Для WinXP попроще, чем для WinVista.

+1

+ нужен Acronis или какая-то альтернатива для сохранения образов конфигураций

+ есть у кого идеи какие бенчмарки могут быть дополнительно использованы в таких тестах? Sysmark?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

нужен Acronis. Восттанавливаем конфигурацию после каждого парциального теста АВ. Кофнфигурация - стандартна - допустим - ОС, офисные приложения - скажем 2003 офис или ХР, архиватор Winrar 3.0, набор файлов - офисных - 1М, 5М, 10 М, архивы - 1М,5М, 10М, самораспаковывающиеся архивы - 1 и 5 М, самораспаковывающиеся архивы - инсталляторы. Стандартный инсталляционный диск - оговариваем. Замер времени - согласен с Гудилиным - отдельная утилита, а не секундомер. По крайности - пишем батник для использования переменной Time (хотя мне и не нравится). Прогонов - 5. Результат - усредняем по принципу анализа точки сходимости - с отбрасываением большего и наименьшего результата. Никаких виртуалок. Анализ задержек при запусках. Сканер - по инсталлятору и самораспаковывающему архиву - инсталлятору. Все настройки документируем отдельно - как описаны вендором. Примерно так - так я делал тесты, начиная с тестов на тендере в банке. Правда, я еще запихивал на разные уровни архива eicar, но в данном случае это неактуально

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

alexgr, вот вам бы этот тест и провести.

нужен человек, который не раз профессионально тестировал производительность, а не тот кто делает это первый раз

лучше даже профессиональный тестер, но вашего опыта есть подозрение тоже будет предостаточно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • JeffryDrurb
      Mortal Kombat 2021 (English and (ML Subtitles)) Watch Online Free
      https://www.bitchute.com/video/n8wLMavjxYqj/
      https://www.deviantart.com/rmnshrvkwf/art/Mortal-Kombat-Free-Full-Movie-Watch-English-Online-875424165
      https://mortalkombat2021fullfree.medium.com/watch-mortal-kombat-2021-movie-hd-full-online-free-english-6f3119582b34
      https://www.getrevue.co/profile/MortalKombat2021WatchOnlineFull
      https://www.geogebra.org/m/rgekhttk
      Mortal Kombat 2021 Français Streaming VF
      https://www.bitchute.com/video/pllykIz6YiKv/
      https://www.deviantart.com/valeravolk198/art/Mortal-Kombat-2021-film-streaming-vf-complet-875394297
      https://mortalkombat2021streamingvf.medium.com/streaming-vf-mortal-kombat-2021-f-i-l-m-complet-online-gratuit-vf-fran%C3%A7ais-c5c283b951f3
      https://mortalkombatstreamingvf.tumblr.com/
      https://www.getrevue.co/profile/MortalKombatStreamingVF2021
      https://www.geogebra.org/m/kkt8p5vp
      Mortal Kombat 2021 italiano Streaming
      https://www.bitchute.com/video/1172xb6cd1Mc/
      https://www.deviantart.com/timofejgradchennkov/art/Mortal-Kombat-film-streaming-ita-completo-gratis-875397454
      https://mortalkombatstreamingita.medium.com/streaming-ita-mortal-kombat-2021-hd-f-i-l-m-completo-online-gratis-g-u-a-r-d-a-r-e-italiano-c96cee5d8f21
      https://mortalkombat2021streamingita.tumblr.com/
      https://www.getrevue.co/profile/MortalKombat2021StreamingIta
      https://www.geogebra.org/m/euv4sfeg
      Mortal Kombat 2021 Ver Online Completas
      https://www.bitchute.com/video/dgWQioYPbVN7/
      https://www.deviantart.com/ilsurahmetshin277/art/Ver-Mortal-Kombat-pelicula-online-completas-2021-875325333
      https://mortalkombat2021veronline.tumblr.com/
      https://www.getrevue.co/profile/MortalKombat2021VerOnline
      https://medium.com/@lalenam96/hd-mortal-kombat-2021-ver-p-e-l-i-c-u-l-a-online-gratis-espa%C3%B1ol-latino-75729d27216f
      https://www.geogebra.org/m/qeau7rm3
      Mortal Kombat 2021 Deutsch Film Stream
      https://www.bitchute.com/video/daYdVTGfisGj/
      https://www.deviantart.com/casdfyuigha/art/Voyagers-Film-Stream-German-Online-875201180
      https://voyagersstreamdeutsch.medium.com/stream-hd-voyagers-2021-f-i-l-m-deutsch-online-kostenlose-komplett-9e9e4d1434e2
      https://voyagersstreamdeutsch.tumblr.com/
      https://www.getrevue.co/profile/VoyagersFilmStreamGerman
      Mortal Kombat 2021 Assistir Filme Online
      https://www.bitchute.com/video/f1f1paaLQ1HA/
      https://www.deviantart.com/marselsumbukov/art/Mortal-Kombat-2021-assistir-filme-online-completo-875321616
      https://mortalkombat2021filmeonline.medium.com/hd-mortal-kombat-2021-ver-hd-filme-online-gratis-portugu%C3%AAs-dfb03ff08863
      https://mortalkombat2021onlinefilme.medium.com/hd-mortal-kombat-2021-ver-hd-f-i-l-m-e-online-gratis-portugu%C3%AAs-b0fddfa87b71
      https://www.getrevue.co/profile/MortalKombatFilmeOnline
      https://www.geogebra.org/m/rcbzu4ws
    • AM_Bot
      Компания «АВ Софт» является российским производителем средств обеспечения информационной безопасности, которые вендор разрабатывает с 2010 г. Портфель продуктов включает в себя систему защиты от целевых атак ATHENA, программный комплекс для имитации корпоративной инфраструктуры LOKI, антивирусный мультисканер OCTOPUS, корпоративный мессенджер BOND и другие продукты, уже зарекомендовавшие себя у российских заказчиков.    ВведениеПозиционирование вендора на рынкеСектор рынкаATHENALOKIOCTOPUSBONDCRIMLABNFIКатегории заказчиковНовые продуктыЗарубежные проектыГибкость и адаптация решенийПартнёрская сетьСертификацияПодведение итоговВыводыВведениеБренд «АВ Софт» придумал Антон Чухнов, основатель компании, имея скромное желание изменить индустрию информационной безопасности в России. Сердце потребителей планировалось пронзить стрелой чего-то нового и оригинального.В 2010 году системы на базе технологии «песочницы» обладали слабой гравитацией на рынке, многим идея казалась неперспективной и странной. Антон пришел от неё в восторг и объединил в первом прототипе системы ATHENA возможность анализировать поведение программного обеспечения с антивирусным мультисканером. Единство технологий принесло первый коммерческий успех, который стал отправной точкой для набора команды и развития продукта.В 2016–2019 гг. палитра предложений компании существенно увеличилась. В ней появились классы решений по маскировке операционных систем, защите мобильных устройств и мониторингу компрометации сетевых устройств. Каждое разработанное решение имеет свой стиль и концептуальное преподнесение. Система ATHENA стала флагманским продуктом и гибко адаптировалась под различные инфраструктурные пожелания заказчиков. Компания стала участником ассоциации АРПП «Отечественный софт», резидентом инновационного центра «Сколково», выиграла несколько конкурсов по инновациям в сфере ИТ и безопасности.В 2020 г. компания «АВ Софт» стала лауреатом гранта российского фонда РФРИТ по разработке системы ложных распределённых целей на базе технологии «deception». Новое решение позволит имитировать ИТ-инфраструктуру организации и заманивать злоумышленников в «ловушки», оберегая реальные устройства от кибератак. Система ATHENA была выбрана для участия в отечественном мультисканере (аналоге VirusTotal), который уже активно проходит тестирование. Также компании удалось развить партнёрскую сеть и реализовать ряд научно-технологических проектов.В команде есть всё необходимое для развития и роста: концентрация идей, потенциал для создания новых продуктов и самый важный бриллиант для любого вендора — доверие заказчиков.Позиционирование вендора на рынкеОбъективная оценка вендора на рынке играет важную роль для потребителей продуктов и услуг в области информационной безопасности. Управление рисками при выборе поставщика решений для защиты ИТ-инфраструктуры требует высоких профессиональных компетенций. Базовая оценка контрагента, выполняемая финансовым отделом, может упустить важные аспекты этой весьма наукоёмкой сферы.Можно выделить следующие направления анализа организаций, специализирующихся на разработке программного обеспечения и оказании услуг в области информационной безопасности:сектор рынка,категории заказчиков,создание новых продуктов,зарубежные проекты,гибкость и адаптация решений,партнёрская сеть,сертификация.Оценка всегда предполагает градацию её уровней, поэтому была разработана шкала присвоения веса по каждому параметру оценки. Таблица 1. Параметры оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию Сектор рынкаЗдесь важно учесть возможность не только начитаться маркетинговых материалов на сайте, но и получить пробную версию или возможность организации «пилота», который не потерпит крушение, что достоверно подтвердит наличие самих продуктов.У компании «АВ Софт» есть следующие направления решений:антивирусный мультисканер,песочница (sandbox),ловушки (deception),контроль сетевого взаимодействия устройств,криминалистический анализ,безопасная коммуникация.Разнообразие направлений продуктов в компании даёт представление о системном охвате рынка, развитии смежных компетенций у специалистов и потенциальной возможности построения сложных конструкций в ИТ-инфраструктуре.Пробные версии показывают возможности продуктов компании, о которых будет рассказано далее.ATHENAФлагманский продукт по защите от целенаправленных атак AVSOFT ATHENA SANDBOX с помощью методов поведенческого анализа и искусственного интеллекта способен проверять всю входящую в компанию информацию на наличие опасного и вредоносного содержимого.Внутри системы ATHENA присутствует множество инструментов проверки, которые можно разделить на два больших блока анализа: статический и динамический. Рисунок 1. Интерфейс системы ATHENA При прохождении файлом или веб-ссылкой статического вида анализа выполняется проверка контента на наличие известных сигнатур множеством локальных антивирусных ядер, синтаксическими анализаторами (парсерами) и искусственным интеллектом, а также осуществляется сбор информации по исследуемому объекту во внешних репутационных базах данных.При динамической проверке осуществляется анализ поведения файла в имитационной среде — «песочнице» (она может быть как виртуальной, так и физической), которая соответствует реальному рабочему месту пользователя или серверу компании. В ней происходят запуск файла, провоцирование его на вредоносные действия, сбор событий о его поведении и вынесение вердикта на основе результатов аналитического блока и поведенческих сигнатур, которые разработаны командой аналитиков «АВ Софт».Стоит отметить, что в системе ATHENA присутствует широкая линейка поддерживаемых в песочницах операционных систем, включающая отечественные ОС:Microsoft Windows;Linux:Astra Linux,RedOS,Alt Linux,Red Hat Enterprise Linux,Debian,Ubuntu,openSUSE,CentOS;Android.После завершения всех видов анализа система ATHENA отображает подробный отчёт. Рисунок 2. Отчёт по проверке в системе ATHENA Рисунок 3. Отчёт по проверке сетевого трафика в системе ATHENA Важно обращать внимание на современность и удобство интерфейсов систем, которые вы берёте попробовать. Сейчас уже вполне устойчиво сформировались общепризнанные требования и правила по эргономике, грамотному использованию цветовых палитр, а также интерактивным возможностям современного программного обеспечения. Если вы осознаёте, что интерфейс часто вводит вас в заблуждение или недоумение, т. е. вы не понимаете, куда нужно двигаться и что делать, и вместо службы доставки вкусного ужина пытаетесь дозвониться до службы поддержки вендора, то что-то идёт не так. Любое нарушение графическими интерфейсами устоявшихся сценариев поведения пользователей тормозит бизнес-процессы компании.LOKIПрограммный комплекс AVSOFT LOKI DECEPTION имитирует корпоративную инфраструктуру на базе технологии «deception» и позволяет виртуально моделировать на различном уровне любое устройство в организации, включая оборудование IoT и IIoT (контроллеры АСУ ТП). Рисунок 4. Интерфейс системы LOKI Имитация устройств осуществляется с помощью ловушек (honeypot) и песочниц (sandbox). На рабочих местах сотрудников и серверах разворачиваются приманки, которые ведут в ловушки и песочницы, уводя вектор атаки от реальных устройств.Использовать систему LOKI несложно, достаточно сделать 4 шага:Просканировать подсети для определения состава активных устройств.Система сама предложит ловушки к ним, можно будет просто согласиться с её выбором.Развернуть ловушки в выбранной подсети одной кнопкой.Скачать приманки на рабочие места и установить их. Рисунок 5. Панель статистики системы LOKI Сейчас линейка имитируемых устройств в системе LOKI уже включает в себя большой список типов и моделей, который активно пополняется: рабочие станции, серверы, маршрутизаторы, межсетевые экраны, IP-телефоны, IP-камеры, принтеры и сканеры, PoS-терминалы, ЧПУ-станки. Рисунок 6. Карта сети ловушек и реальных устройств в системе LOKI При работе с программным продуктом не стоит забывать о простоте его использования, чтобы любой шаг был естественен и логично следовал из предыдущего. В системе LOKI есть эта особенность, хотя изначально концепция идеи может сформировать представление о чём-то громоздком и сложном. Конечно, комплексы, автоматизирующие процессы в информационной безопасности, имеют большие функциональные возможности, но продукт должен стараться исключать людей из процесса, выполняя по максимуму всё самостоятельно, т. к. человеческий фактор — это всегда риск.OCTOPUSСистема AVSOFT OCTOPUS MULTISCANNER — это антивирусный мультисканер, который может быстро обрабатывать большие объёмы трафика и подходит в том числе для небольших компаний за счёт невысокой стоимости.Внутри системы — больше 20-ти локальных антивирусных ядер, при желании можно добавить и больше. Помимо этого есть модули статического анализа файлов, модели на базе машинного обучения, интеграция с внешними репутационными сервисами.Можно отправить на проверку самые разнообразные типы файлов: исполняемые, офисные, скрипты, мобильные приложения, архивы, включая многотомные и закрытые паролем, и др. Рисунок 7. Страница проверки файлов в системе OCTOPUS При оценке любой современной системы важно учитывать скорость обработки данных; если вендор предлагает решить её только за счёт «железа», то это — порочная практика, т. к. она всегда ставит перед заказчиком вопрос о дополнительных затратах. Важно уточнять у вендора, как происходит обработка очередей и больших объёмов задач, чтобы подстраховать себя от незапланированных финансовых потоков во внешний мир.BONDAVSOFT BOND MESSENGER — мессенджер для безопасного корпоративного общения. Он позволяет управлять всей коммуникацией в компании через собственный сервер. После развёртывания мессенджера в инфраструктуре никто кроме уполномоченных администраторов из персонала заказчика не имеет доступа к серверу, включая самих разработчиков программы. Рисунок 8. Интерфейс мессенджера BOND Получение быстрого доступа к продукту, как в случае с мессенджером, который можно просто скачать и поставить, даёт возможность сразу оценить его характеристики и принять решение. Если приходится пройти сражение с драконом или спасти принцессу, чтобы получить «пилот» или пробный доступ, то стоит задуматься, стоит ли ввязываться в этот бой, поскольку так же сложно могут быть выстроены и другие процессы, связанные с поддержкой или инсталляцией в инфраструктуру.CRIMLABКриминалистическая лаборатория AVSOFT CRIMLAB ANALYTICS предоставляет инструменты для детального анализа файлов и разнообразной агрегации собранных данных: сравнение исследований, создание коллекций, формирование базы знаний и др. Решение актуально для центров мониторинга информационной безопасности (SOC) и компаний, которые хотят развить компетенции своих специалистов в данной области. Рисунок 9. Схема работы CRIMLAB Решение позволяет проводить детальный анализ содержимого любого типа файлов, изучать его поведение в виртуальных и физических песочницах, тонко индивидуализировать параметры среды исследования и добавлять инструменты исследований, а также осуществлять ретроспективный анализ. Рисунок 10. Подробный отчёт по файлу Возможность тонкой индивидуализации внутренних функций и настроек системы всегда говорит о её гибкости и адаптивности, это уже стало базовым качеством многих современных программных продуктов. Не стоит забывать, что осуществление индивидуализации не должно быть сложным или запутанным, т. к. это повышает риск ошибок, система должна запрещать пользователю выполнять заведомо некорректные настройки.NFIНебольшой программно-аппаратный комплекс AVSOFT NFI контролирует взаимодействие сетевых устройств с внешней сетью (интернетом). NFI представляет собой устройство, которое берёт в кольцо сетевые пакеты, работая на 3-м уровне модели OSI. Инспектор способен оперативно выявить и заблокировать компрометацию любого сетевого устройства и оповестить об этом службу безопасности. Рисунок 11. Схема работы AVSOFT NFI NFI имеет графический интерфейс, в котором можно задавать правила фильтрации и управлять устройством. Рисунок 12. Интерфейс программно-аппаратного устройства NFI Итак, компанией охвачены востребованные направления на рынке информационной безопасности и этих направлений больше 5-ти, что даёт основание присвоить ей 3 балла по принятой методике оценки.Категории заказчиковДля вендора большую роль играет получение опыта с разными категориями заказчиков. Все осознают, что государственные и коммерческие организации — это два больших разных «королевства» со своими требованиями и правилами. Непрерывная реконструкция и анализ многогранных кейсов с клиентами может помочь пересмотреть процесс реализации новых проектов. Заказы от коммерческих компаний преимущественно ориентированы на скорость и оптимизацию затрат, от государственных структур — на соблюдение требований регуляторов, а качество, конечно, интересует всех.Компания «АВ Софт» работает как с государственными, так и с коммерческими заказчиками. Веер направлений деятельности клиентов включает в себя промышленность, транспорт, оказание услуг по безопасности и задачи связанные с обороной. Не присутствуют пока зарубежные заказчики, что позволяет поставить по методике оценки 2 балла.Новые продуктыОриентация на создание новых продуктов — обязательный талисман для всех, кто планирует расти. Сфера кибератак развивается со скоростью гепарда, поэтому вендорам важно не упускать шанса моделировать инструменты охоты, которых ни у кого нет или которым есть куда стремиться по уровню качества. Конкуренты всегда помогают в развитии, никогда не сидят спокойно и ждут возможности забрать себе кусочек того, что кто-то потерял, потому что отстал в развитии. Если компания постоянно генерирует новые идеи и не жалеет ресурсов на развитие новых продуктов, то это выделяет её с точки зрения планирования долгосрочной стратегии.Команда «АВ Софт» почти каждый год выпускает новый продукт, и основная концепция компании как таковая базируется на непрерывном выпуске новых продуктов. По методике можно присвоить ей 3 балла.Зарубежные проектыКогда вендор вращается только в своей домашней зоне, это не даёт ему возможности развиться до уровня международных конкурентов, и тем самым он обрекает себя на стагнацию, которая наступит рано или поздно. Очень важно стремиться расширять круг заказов за границами комфортного «стеклянного шара», адаптируя свои решения под требования заказчиков из других стран.Опыта зарубежных проектов компания «АВ Софт» пока не имела шанса получить, поэтому по методике ей ставим 0 баллов.Гибкость и адаптация решенийСпособность продуктов гибко трансформироваться не всегда удобна вендорам, потому что это влечёт за собой дополнительные ресурсы на поддержку и сопровождение. Но желания заказчиков никто не отменял, и пока они не удовлетворены — это всегда отличный повод для действия. Клиентоориентированный подход уже пронизывает все сферы рынка и требует покориться ему в том числе и от поставщиков решений по информационной безопасности.Индивидуализация продуктов компании «АВ Софт» возможна и является одним из обязательных условий работы с заказчиками, взятых на себя командой. Высокая адаптивность продуктов — это всегда отчасти и риск, но при должной оптимизации этого процесса он даёт гораздо больше, чем ограничения клиентов. Формируется совершенно иной уровень доверия, появляется возможность реализовать действительно полезные проекты. По методике мы можем поставить в данной категории 3 балла.Партнёрская сетьРазвитая партнёрская сеть свидетельствует о доверии и устойчивой позиции вендора на рынке. Если среди партнёров есть крупные интеграторы и дистрибьюторы, то это показывает, что компания получила признание у сильных игроков.У компании «АВ Софт» — больше 15-ти партнёров, что даёт основание выставить ей по методике ещё 3 балла.СертификацияПолучение сертификации — ювелирная работа, которая требует в первую очередь стабильности продуктов и чёткого их соответствия заявленным требованиям. При наличии лицензий можно сделать вывод о том, что присутствует баланс между разработкой новых функций и их устойчивым состоянием.Часть продуктов компании «АВ Софт» имеет сертификацию, остальные находятся в процессе её получения, поэтому в нашей финальной метрике мы можем выставить 2 балла.Подведение итоговВ итоговой таблице компания «АВ Софт» получает 16 баллов, что вполне неплохо, но значит, что есть куда стремиться. Цветом выделены баллы, которые компания получила в результате прохождения оценки в рамках настоящего материала. Таблица 2. Методика оценки вендора№Параметр1 балл2 балла3 балла1.Сектор рынкаНаправление продуктов всего одноЕсть 2–3 направления продуктовЕсть больше 3-х направлений продуктов2.Категории заказчиковТолько государственные организацииПрисутствуют государственные и коммерческие организацииПрисутствуют государственные, коммерческие и зарубежные заказчики3.Новые продуктыНовые продукты создаются реже чем раз в 5 летНовые продукты создаются раз в 2–3 годаНовые продукты создаются каждый год4.Зарубежные проектыЕсть 1 зарубежный проектЕсть 2–5 зарубежных проектовЕсть более 5-ти зарубежных проектов5.Гибкость и адаптация решенийРешения очень редко допускают индивидуализациюДопускается частичная индивидуализацияВсе решения могут гибко адаптироваться под нужды заказчика6.Партнёрская сетьЕсть 1–2 партнёраПартнёрская сеть невелика и находится в развитииРазвитая партнёрская сеть (более 10-ти партнёров)7.СертификацияКомпания имеет 1 сертификатЧасть продуктов компании имеет сертификациюВсе продукты компании имеют сертификацию ВыводыОценка вендора может быть адаптирована под потребности конкретной организации и особенности защиты её ИТ-инфраструктуры. Рекомендуется также выстраивать управление рисками в части поставки решений по информационной безопасности и методику оценки качества продуктов и услуг вендора. Читать далее
    • andery777
    • Guffy
    • andery777
      Только для 10? Как думаете с 7 совместима?
×