Тест быстродействия корпоративных антивирусов

[kolan 15]

Не видишь смысла в проверке скорости работы антивирусов? Мли считаешь, что офисному планктону все равно на то, что у него комп тормозит и ворд по минуте открывается?

А как простите связано время запуска ворда с "прогон проверки коллекции файлов на ПК" да еще и с "Методология проверки наличия оптимизации"?

[Valery Ledovskoy 1082]

Мнение офисного планктона в вопросах касающихся корпоративной безопасности - волновать никого не должно.

Ну, теоретические это может быть мнение владельцев конторы, которым важна производительность труда планктона на конкретном железе

[mvs 92]

Во-первых, у ряда продуктов просто не поставить клиента без сервера управления. Во-вторых мы хотим проверить эффективность сетевых/серверных технологий оптимизации. И третье - это намного ближе к реальности.

хм.. тогда уж если брать реальность действительно, надо брать в учет что на быстродействие системы и технологий оптимизации проверки и т.п. (proxy-ksn например в новых продуктах ЛК) влияют агенты для управления и связи с антивирусами на клиенстких ПК, причем их влияние этих агентов порой больше самого антивирса на систему, вот только этому мало внимания почему то уделяется и не берется в учет.

в общем мое мнение что тут уж надо мух отдельно, котлеты отдельно.

1) замерять чисто скорость сканирования на клиентских ПК с оптимизацией, без нее (дефолтные настройки) и например с самой "жесткой" настройкой (и уж отдельно ложных пропущенных детектов)

в современных реалиях для пользователей важна скорость доступа к сетевым ресурсам и общим документам в сети а не на локальном ПК, тут бы интересней был бы тест на скорость чтения/копирования данных с dfs/ftp ресурса в сети.

2) замерять быстродействие применения настроек с сервера на клиентских ПК и общее влияние агентов для управления на производительность ПК.

[SySOPik 52]

Мнение офисного планктона в вопросах касающихся корпоративной безопасности - волновать никого не должно.

Даже, если точней, что поставят то и будет. А ставить будут то, что выберут менеджеры, и я сомневаюсь, что им тест этот нужен.

[Valery Ledovskoy 1082]

А ставить будут то, что выберут менеджеры, и я сомневаюсь, что им тест этот нужен.

Не всегда выбирают менеджеры, и это хорошо на самом деле. Мне бы интересно было бы для справки взглянуть на результаты такого теста. Ни в коем случае ни для окончательного решения, но как один из технических параметров. Если на 512МБ с продуктом невозможно работать принципе, и оно только взлетает с ним, и больше ничего сделать не может, то я себе не могу позволить перевести предприятие на такой продукт. В качестве примера.

[sergey ulasen 200]

хм.. тогда уж если брать реальность действительно, надо брать в учет что на быстродействие системы и технологий оптимизации проверки и т.п. (proxy-ksn например в новых продуктах ЛК) влияют агенты для управления и связи с антивирусами на клиенстких ПК, причем их влияние этих агентов порой больше самого антивирса на систему, вот только этому мало внимания почему то уделяется и не берется в учет.

А в каком продукте (-ах) влияние на перформанс оказывается агентом больше чем сервисом (-ми) антивируса ? Можно какие-то примеры узнать ?

P.S. Просто я пока не понимаю, зачем эти консоли вообще в тест тянутся.

[Сергей Ильин 1538]

Мнение офисного планктона в вопросах касающихся корпоративной безопасности - волновать никого не должно.

+1 вот и я хотел аналогичное сказать.

Вы товарищи в корне неправы. Если антивирус тормозной, то он очень быстро станет проблемой для юзеров, а потом также быстро станет проблемой для администратора. Поэтому результаты этого теста покажут администратору (главной целевой аудитории этого теста), какие антивирусы будут составлять проблемы для юзеров, в какие нет. Особенно это касается медленных машин, коих в нашей стране дофига за пределами МКАД особенно.

А офисным сотрудникам такой тест не нужен, да, мы на них и не рассчитываем.

А как простите связано время запуска ворда с "прогон проверки коллекции файлов на ПК" да еще и с "Методология проверки наличия оптимизации"?

Совсем не хотите смотреть ссылки и читать. Ведь написал же, что методология тестирования будет такая http://www.anti-malware.ru/node/4068 + проверка серверных технологий оптимизации сканирования. Мы на быстродействие уже не первый раз тесты делаем, только до этого брали только персональные версии.

хм.. тогда уж если брать реальность действительно, надо брать в учет что на быстродействие системы и технологий оптимизации проверки и т.п. (proxy-ksn например в новых продуктах ЛК) влияют агенты для управления и связи с антивирусами на клиенстких ПК, причем их влияние этих агентов порой больше самого антивирса на систему, вот только этому мало внимания почему то уделяется и не берется в учет.

Согласен, что агенты могут сильно влиять на быстродействие и поэтому также важно, чтобы они были. Это будет воспроизводить реальную ситуацию, когда на десктопе стоит агент и сам антивирус.

*************************

Есть другой важный вопрос. У многие продуктов можно собирать пакеты установки. Эта процедура подразумевает выбор компонент, которые мы хотим установить. Мы берем в тест комплексные продукты. Отсюда вопрос, мы собираем пакет, в который будут включены все компоненты или какой-то определенный набор? Если второе, то нужно решить четко, какие компоненты мы не ставим.

Инет во время тестов?

В принципе он должен быть на сервер администрирования, так как через него могут быть обращения в облако. Но это может сказаться на увеличении погрешности измерений.

[A. 875]

Если на 512МБ с продуктом невозможно работать принципе, и оно только взлетает с ним, и больше ничего сделать не может, то я себе не могу позволить перевести предприятие на такой продукт. В качестве примера.

Валера, какие 512 ? Они на Windows7 тестировать собираются.

Вы товарищи в корне неправы. Если антивирус тормозной, то он очень быстро станет проблемой для юзеров, а потом также быстро станет проблемой для администратора. Поэтому результаты этого теста покажут администратору (главной целевой аудитории этого теста), какие антивирусы будут составлять проблемы для юзеров, в какие нет. Особенно это касается медленных машин, коих в нашей стране дофига за пределами МКАД особенно.

1. Администратор - как целевая аудитория такого теста, это тоже пережиток тяжелого прошлого и существования эникейщиков. Задача администратора - администрировать то что ему купят, а не подбирать под себя то с чем умеет. В вопросах корпоративной безопасности - оценка и закупка должна быть функцией CSO или CISO, а не красноглазика.

2. Про медленные машины аргумент был бы принят, если бы (см.выше) - вы бы не планировали тест на Windows7. Это по-вашему типовая конфигурация за пределами МКАД ? Нууу, у меня для вас плохие новости...

[Valery Ledovskoy 1082]

Валера, какие 512 ? Они на Windows7 тестировать собираются.

Ну, если Win7 - это наши новые ноутбуки, которых уже штук 15-20, наверное. Там по 2-3ГБ оперативки. Но винты ещё обычные, которые жужжат, на SSD-диски пока ещё денег не завезли И там очень заметна разница между антивирями, которые более требовательны к ресурсам и менее. Ибо на Win7 уже и AutoCAD ставят не 2007, а 2010-2012, и офис не 2003, а 2007-2010, и фотошоп не 7-8, а CS3-5. Ну и т.д. И всё возвращается к тем же проблемам, что и на XP с 512МБ

[AlexxSun 150]

А что, Москва уже так разбогатела, что во всех организациях повально используют Windows 7 ? ХР вообще перестали использовать? В связи с чем тестирование на семёрке?

[Valery Ledovskoy 1082]

ХР вообще перестали использовать? В связи с чем тестирование на семёрке?

Кстати, правильный вопрос. К семёрке на нашем предприятии только-только вот начинаем привыкать.

А есть ещё предприятия, где и Win2000 SP4 + Rollup 1 (в лучшем случае) используется. Думаете, их просто так ещё все держат?

[AlexxSun 150]

Корпоративный сектор всегда был намного консервативнее сектора домашних пользователей. Во многих организациях у нас, на периферии (это видимо за МКАД ) семёрка - это вообще редкое явление. А компьютеры с 512 Мб. оперативы и ХР на борту - наоборот, явление вполне обычное.

[Kopeicev 94]

Valery Ledovskoy, AlexxSun я с вами согласен, сам на этапе обсуждения в экспертном разделе по тем же причинам предлагал XP, но...

[Vofres 20]

Немного непонятный для меня тест. Поддержу многочисленные высказывания - какой смысл тестировать корпоративные продукты на Windows 7? Если вы, как пишете, действительно делаете тест для администраторов, а не просто ради теста - им будет интересен такой тест на Windows XP c RAM макисимум гиг. Как администратор со стажем из-за МКАД и небольшим количеством компов в организации (чуть больше 6000) могу сказать, что именно таких компьютеров процентов 90. И, кстати, меня, как администратора, быстродействие корпоративного средства защиты волнуют в последнюю очередь. В первую очередь меня интересуют средства администрирования этих средств защиты - удобсто использования, интеграция в AD, управление, отчеты и т.д. Даже качество самого средства защиты меня интересует не в первую очередь, потому что на предприятии антивирусная защита всего лишь один из элементов безопасности. Пользователи в корпоративной сети работают под обычными позовательскими учетками и ни в коем случае не являются администраторами. Групповыми политиками запрещены автозапуски флешек, CD, DVD и т.д., на пограничных Cisco заблокированы практически все порты, а контент-фильтрами всякие одноклассники, вконтакте, рапиды и прочая ненужная на работе фигня. Ну и т.д. и т.п. Поэтому (имхо, кончено), но тест быстодействия - это совсем не тот тест, который я хотел бы увидеть как администратор.

[Smirnoff 0]

какой смысл тестировать корпоративные продукты на Windows 7? Если вы, как пишете, действительно делаете тест для администраторов, а не просто ради теста - им будет интересен такой тест на Windows XP c RAM макисимум гиг.

Очень поддерживаю.

В первую очередь меня интересуют средства администрирования этих средств защиты - удобсто использования, интеграция в AD, управление, отчеты и т.д.

Это тоже очень интересно - но это уже не может быть "тестом", это может быть только органолептическим обзором/сравнением...

[Vofres 20]

Это тоже очень интересно - но это уже не может быть "тестом", это может быть только органолептическим обзором/сравнением...

Согласен. Вышенаписанным я всего лишь хотел сказать, что, по моему скромному мнению, не совсем то, что собираются тестировать, интересно админам

[Smirnoff 0]

не совсем то, что собираются тестировать, интересно админам

Не, ну скорость на плохоньких машинах - это мне тоже интересно; я вот не более, чем на 50% парка память добил до двух гигов, а остальные-то ~50% - там же всего один гиг, и даже процики кое-где одноядрёные - и если антивирус будет шибко тормозить - неминуемы разборки вплоть до уровня диров (жмоты денег-то на апгрейд не даваютъ, да... ).

[Зайцев Олег 402]

Могу предложить несколько мыслей по теме:

1. полное сканирование чего либо на ПК в корпоративной среде бывает очень редко (в нормальной ситуации - первый и последний раз). Причина - антивирус подчиняется политикам, отключить его пользователь не может, потому монитора в 99% случаев хватает. Как следствие, фулл-скан делается после развертывания и обновления продукта, а далее он или повторяется редко (не чаще раза в неделю), или делается некое быстрое сканирования, привязанное по времени к нерабочему времени (для круглосуточно включенных ПК) или к обеду. Прична банальна - как отмечалось выше, офисная техника далека от современной, Windows XP + 1-2 Гб ОЗУ + средне паршивый медленный HDD с тысячами файлов и дикой фрагментацией - норма во многих фирмах. Фуллскан такого ПК убивает быстродействие до почти неприемлемых значений, типовая причина - 100% загрузки полудохлого HDD

2. Следствие п.п. 1 - имхо важно тестирование, отражающее влиения корпоративного антивируса на типовую работу с типовым офисным ПО - например, скорость запуска типовых офисных пакетов, скорость открытия типовых образцов (типа документа на 100 тестов, презентации на 30-50 кадров, сложной таблицы Excell). Т.е. тест, позволяющий понять, как наличие антивируса скажется на конфортности работы юзера

3. Тест на Win7 важен, ибо сейчас все новые ноутбуки приходят с 7-кой, и потихоньку она внедряется, как следствие у админов возникает резонный вопрос - "а как там на этой 7-ке будет работать корпоративный антивирус ?" - тест даст ответ на него. Однако имхо порядка 80-90% парка ПК работает под XP (и это подтверждают посты выше, и я думаю, что такая картина действительно имеет место в большинстве сетей), следовательно если вести речь о тестировании, то стоит протестировать быстродействие на базе средне-статистического офисного ПК под XP, а потом его-же - под Win7. Эти данные были бы полезны админам, задумывающимся о миграции на Win7

4. При тестировании следует уровнять настройки. Дело в том, что политики по умолчанию могут радикально отличаться - в отличие от продукта для домохозяек (где все настроено и все решения по максимуму принимает продукт), в корп. продукте политику в общем-то создает админ и в дефолтных политиках нередко или все включено по максимуму, или наоборот, выключено что-то важное, типа проверки упакованных объектов в мониторе.

[Smirnoff 0]

4. При тестировании следует уровнять настройки. Дело в том, что политики по умолчанию могут радикально отличаться - в отличие от продукта для домохозяек (где все настроено и все решения по максимуму принимает продукт), в корп. продукте политику в общем-то создает админ и в дефолтных политиках нередко или все включено по максимуму, или наоборот, выключено что-то важное, типа проверки упакованных объектов в мониторе.

Вот кстати - да; Dr.Web Enterprise Suite на медленных компах та-ак дико тормозил при загрузке компа, что пришлось пожертвовать "сканированием при загрузке", увы...

[Vofres 20]

1. полное сканирование чего либо на ПК в корпоративной среде бывает очень редко (в нормальной ситуации - первый и последний раз). Причина - антивирус подчиняется политикам, отключить его пользователь не может, потому монитора в 99% случаев хватает. Как следствие, фулл-скан делается после развертывания и обновления продукта, а далее он или повторяется редко (не чаще раза в неделю), или делается некое быстрое сканирования, привязанное по времени к нерабочему времени (для круглосуточно включенных ПК) или к обеду. Прична банальна - как отмечалось выше, офисная техника далека от современной, Windows XP + 1-2 Гб ОЗУ + средне паршивый медленный HDD с тысячами файлов и дикой фрагментацией - норма во многих фирмах. Фуллскан такого ПК убивает быстродействие до почти неприемлемых значений, типовая причина - 100% загрузки полудохлого HDD

2. Следствие п.п. 1 - имхо важно тестирование, отражающее влиения корпоративного антивируса на типовую работу с типовым офисным ПО - например, скорость запуска типовых офисных пакетов, скорость открытия типовых образцов (типа документа на 100 тестов, презентации на 30-50 кадров, сложной таблицы Excell). Т.е. тест, позволяющий понять, как наличие антивируса скажется на конфортности работы юзера

Полностью поддерживаю. Изначально пытались настроить полное сканирование, но компьютеры у нас принято выключать, уходя домой, а за обеденный перерыв часто антивирус не успевает выполнить полное сканирование, поэтому отказались от него. Поэтому наиболее критичен для офисного пользователя именно монитор и его влияние на быстродействие.

3. Тест на Win7 важен, ибо сейчас все новые ноутбуки приходят с 7-кой, и потихоньку она внедряется, как следствие у админов возникает резонный вопрос - "а как там на этой 7-ке будет работать корпоративный антивирус ?" - тест даст ответ на него. Однако имхо порядка 80-90% парка ПК работает под XP (и это подтверждают посты выше, и я думаю, что такая картина действительно имеет место в большинстве сетей), следовательно если вести речь о тестировании, то стоит протестировать быстродействие на базе средне-статистического офисного ПК под XP, а потом его-же - под Win7. Эти данные были бы полезны админам, задумывающимся о миграции на Win7

Не согласен. Не знаю как у кого,у нас речи о поголовной миграции на Windows 7 нет и в помине. 7-ка ставится в основном на новые компы, коих немного, ноутбуки обычно поставляются с не менее чем 2 GB памяти. И это еще следует учесть, что такие современные плюшки получает обычно руководство, у которого самые тяжелые приложения на компьютере - это пасьянс и клиент электронной почты. Поэтому не соглашусь. Имхо, 7-ка с тем же набором приложений и обычно с не менее 2 гигами памяти в любом случае чувствует себя лучше, чем XP с 512 или даже гигом.

4. При тестировании следует уровнять настройки. Дело в том, что политики по умолчанию могут радикально отличаться - в отличие от продукта для домохозяек (где все настроено и все решения по максимуму принимает продукт), в корп. продукте политику в общем-то создает админ и в дефолтных политиках нередко или все включено по максимуму, или наоборот, выключено что-то важное, типа проверки упакованных объектов в мониторе.

Тут опять полностью согласен. Но, как мне кажется, сложно будет уравнять вендоров по настройкам.

[Сергей Ильин 1538]

По поводу ОС раз сообщество считает, что нужно первый такой тест сделать на XP, то давайте так и поступим. Я лично настаивал на Windows 7 из соображений интереса к миграции на нее и из того, что XP уже очень сильно устарела - Windows 8 на дворе ...

1. полное сканирование чего либо на ПК в корпоративной среде бывает очень редко (в нормальной ситуации - первый и последний раз). Причина - антивирус подчиняется политикам, отключить его пользователь не может, потому монитора в 99% случаев хватает. Как следствие, фулл-скан делается после развертывания и обновления продукта, а далее он или повторяется редко (не чаще раза в неделю), или делается некое быстрое сканирования, привязанное по времени к нерабочему времени (для круглосуточно включенных ПК) или к обеду. Прична банальна - как отмечалось выше, офисная техника далека от современной, Windows XP + 1-2 Гб ОЗУ + средне паршивый медленный HDD с тысячами файлов и дикой фрагментацией - норма во многих фирмах. Фуллскан такого ПК убивает быстродействие до почти неприемлемых значений, типовая причина - 100% загрузки полудохлого HDD

Согласен на счет проверки по требованию, но с другой стороны будет ли правильно отказаться от измерения скорости работы сканеров вообще? Вот в чем вопрос.

2. Следствие п.п. 1 - имхо важно тестирование, отражающее влиения корпоративного антивируса на типовую работу с типовым офисным ПО - например, скорость запуска типовых офисных пакетов, скорость открытия типовых образцов (типа документа на 100 тестов, презентации на 30-50 кадров, сложной таблицы Excell). Т.е. тест, позволяющий понять, как наличие антивируса скажется на конфортности работы юзера

Тогда последний раздел теста (на сторость работы с офисным ПО) придется сильно модифицировать/усложнить. Нужно будет запускать проги пустыми + запускать редакторование файлов (взять скажем по 3 разного размера, а результаты в % замедления от эталона усреднять). При этом исключить в них макросы и связи с другими документами/хранилищами данных для чистоты эксперимента.

4. При тестировании следует уровнять настройки. Дело в том, что политики по умолчанию могут радикально отличаться - в отличие от продукта для домохозяек (где все настроено и все решения по максимуму принимает продукт), в корп. продукте политику в общем-то создает админ и в дефолтных политиках нередко или все включено по максимуму, или наоборот, выключено что-то важное, типа проверки упакованных объектов в мониторе.

Вот это сейчас очень важный момент. Нужно определиться не только с настройками, но и с набором компонент. Думаю, что нужно отталкиваться от каких-то типовых конфигураций.

Есть какие рекомендование конфигурации, что-то типа best practices на этот счет?

[Kopeicev 94]

Согласен на счет проверки по требованию, но с другой стороны будет ли правильно отказаться от измерения скорости работы сканеров вообще? Вот в чем вопрос.

Можно оставить on access и не отказываться полностью от проверки сканера.

[Зайцев Олег 402]

По поводу ОС раз сообщество считает, что нужно первый такой тест сделать на XP, то давайте так и поступим. Я лично настаивал на Windows 7 из соображений интереса к миграции на нее и из того, что XP уже очень сильно устарела - Windows 8 на дворе ...

Это на самом деле не так. Да, устарела - но реальность есть реальность. Вот поэтому имхо нужно проводить тест на XP и Win7 (актуально для старых ПК, для новых, и полезная цифра для оценки потенциальных плюсов-минусов перехода)

Согласен на счет проверки по требованию, но с другой стороны будет ли правильно отказаться от измерения скорости работы сканеров вообще? Вот в чем вопрос.

Совсем может быть отказываться не стоит, но цифра эта действительно вспомогательная - по указанным выше причинам сканер применяется сравнительно редко и по возможности тогда, когда его работа не важна в плане скорости

Тогда последний раздел теста (на сторость работы с офисным ПО) придется сильно модифицировать/усложнить. Нужно будет запускать проги пустыми + запускать редакторование файлов (взять скажем по 3 разного размера, а результаты в % замедления от эталона усреднять). При этом исключить в них макросы и связи с другими документами/хранилищами данных для чистоты эксперимента.

Совершенно верно. Дело в том, что с точки зрения админа важнее всего то, как сильно антивирусник скажется на повседневной работе юзеров. И чем полнее и качественнее будет этот тест, тем он полезнее с практической точки зрения

Вот это сейчас очень важный момент. Нужно определиться не только с настройками, но и с набором компонент. Думаю, что нужно отталкиваться от каких-то типовых конфигураций.

Есть какие рекомендование конфигурации, что-то типа best practices на этот счет?

В теории интересны тра варианта:

1. по дефолту. Т.е. проверяем, что получит начинающий админ, которые не удосужится что-то настроить.

2. по минимуму - минимальная эвристика, минимальные проверки (типа отказа от проверки упакованных объектов)

3. по максимуму (с точностью до наоборот - когда включено все)

Плюс из практики - нередко админы в антивирусе выключают HIPS (так как нередко головной боли от него больше, чем пользы - особенно на криво-писанном ведомственном ПО, которое иной раз вытворяет чудеса похуже вируса) и Firewall (так как сеть защищена от атак извне, а внутри сети толку от FW пости никакого)

[Сергей Ильин 1538]

1. по дефолту. Т.е. проверяем, что получит начинающий админ, которые не удосужится что-то настроить.

2. по минимуму - минимальная эвристика, минимальные проверки (типа отказа от проверки упакованных объектов)

3. по максимуму (с точностью до наоборот - когда включено все)

Вариант 2. - это по сути деградирующий вариант 1. (убрали все лишнее - результаты будут явно быстрее). Тогда я бы предложил тестировать на дефолтовых и максимальных настройках, как мы делали в последнем тесте фаерволов. Хотя, конечно, это вся работа х2.

[Виталий Я. 859]

Symantec Endpoint Protection

McAfee Endpoint Protection

Trend Micro Enterprise Security for Endpoints

Sophos Endpoint Security and Control

Kaspersky Endpoint Security 8 for Windows

ESET Smart Security 4.2 Business Edition

Dr.Web Enterprise Security Suite

ОС Windows 7 x86

Почему ОС - не XP x86 + 7 x64?

PS: топ корп. Endpoint Protection - слишком узкий даже для России.