Тест быстродействия корпоративных антивирусов (результаты)

[Вадим Волков 176]

Возможно, что-то в этом есть. Давайте думать над методикой. Меня только всякий раз расстраивает, что это происходит уже после теста.

P.S. У меня на руках результаты аналогичного теста для персональных версий. Награды только осталось распределить

Интересуемого меня продукта в этом тесте наверняка нет?

[Сергей Ильин 1538]

Интересуемого меня продукта в этом тесте наверняка нет?

К сожалению, нет

[Danilka 678]

Эммм, а касаемо запуска приложений.

Как я понял процесс тестирования был такой:

1) Запустили без файла. 2) Затем запустили с маленьким. 3) Затем с большим. Между этими шагами система не перезагружалась. Так?

Если да, а пробовали выполнять каждый шаг по нескольку раз и подсчитывать время, особенно это касается Word и других программ из "офисного" пакета? Насколько я могу судить - результаты будут разными, т.е. последующие запуски будут проходить быстрее (если систему не перезагрузить). А тут уже погрешность в тестировании. Так как эти приложения могут запускаться и не один раз на дню, а один раз замедление не столь критично.

[Сергей Ильин 1538]

Как я понял процесс тестирования был такой:

1) Запустили без файла. 2) Затем запустили с маленьким. 3) Затем с большим. Между этими шагами система не перезагружалась. Так?

Да, именно так, все верно.

Если да, а пробовали выполнять каждый шаг по нескольку раз и подсчитывать время, особенно это касается Word и других программ из "офисного" пакета

Несколько раз одно и тоже не запускали. Хотя с моей точки зрения запуск одной и той же программы подряд, но с разными файлами как раз и должен показывать уровень реальной оптимизации.

[Danilka 678]

Несколько раз одно и тоже не запускали. Хотя с моей точки зрения запуск одной и той же программы подряд, но с разными файлами как раз и должен показывать уровень реальной оптимизации.

В том то и все и дело. С разными. Ты можешь сейчас запустить с 5 МБ файлом, потом через минут 20 с 1МБ, потом с 6МБ и потом с 2 МБ. Значения будут разный как в зависимости от размера файла, так и в зависимости от очередности запуска (т.е. например будет видна разница при запуске 5 МБ и 6МБ, причем не из за того (в большей степени), что файлы разные, а то что запуск не первый.

[Сергей Ильин 1538]

Интересное направление дискуссии у нас.

Вместо того, чтобы обсуждать вопросы: "Почему же Dr.Web такой нереально быстрый стал?" или "Почем Eset почти не тормозит запуск программы?" Идет какое-то обсасывание состава программ, как их запускать и т.п. Это все вторично. Есть базовые характеристики скорости работы, они представлены и они четко видны.

От того, что мы уберем Skype или сделаем еще пару прогонов копирования тестовой коллекции антивирусный монитор Dr.Web медленнее не станет. И Eset не станет тормозить вдруг при открытии Microsoft Word. Поэтому все эти разговоры в пользу бедных.

Мне вот непонятно другое. Например, почему при наличии репутационной базы, белых списков, всякий там модных хипсов--гипсов, тот же Касперский все равно тормозит запуск программ. Зачем проверять заведомо чистое приложение, подписанное, с известными контрольными суммами и т.п. .... Загадка Nod32 раскрыта?

Мне непонятно, что мешает Доктору сделать быстрый on-demand сканер второй год.

Не понятен провал AVG в этом тесте, хотя в схожем тесте для персональных версий он был очень даже неплох.

В общем есть куда больше интересных вопросов для анализа, чем ковыряться в том, что лучше % или секунды на графике.

[Danilka 678]

Интересное направление дискуссии у нас.

Вместо того, чтобы обсуждать вопросы: "Почему же Dr.Web такой нереально быстрый стал?" или "Почем Eset почти не тормозит запуск программы?" Идет какое-то обсасывание состава программ, как их запускать и т.п. Это все вторично. Есть

А что обсуждать? Каждый получил свои результаты ИМХО. Кто то молодец, кто то нет. Это не в пользу "бедных", просто лично я "проспал" обсуждение методологии, поэтому высказал свое мнение сейчас, причем это реально важное замечание, так как можно воочую наблюдать как открывая первый раз (после старта системы) большое файло тормозит запуск и как второй раз это файло. В этом вся и соль.

А касаемо технологий - отвлечемся от корпоративных и возмьмем MSE - чем он тормозит запуск программ? OAS?

[RomaNNN 5]

Поправьте

(актуальных версий на момент начала тестирования - 15.11.2011)

Интересно было бы посмотреть на результаты DrWeb с новым движком, который вышел в релиз 12.12.11 - http://news.drweb.com/show/?i=2071

[Сергей Ильин 1538]

RomaNNN, а в какой версии он стал доступен? В таком же тесте но для персональных антивирусов мы изменяли Dr.Web Security Space 7 (7.0.0.10140). Если там новый движок, то мы его уже протестировали.

[RomaNNN 5]

RomaNNN, а в какой версии он стал доступен? В таком же тесте но для персональных антивирусов мы изменяли Dr.Web Security Space 7 (7.0.0.10140). Если там новый движок, то мы его уже протестировали.

Сейчас узнаю.

кстати, поправьте еще описание -

Рисунок 2: Занимаемая антивирусов оперативная память в состоянии покоя (Мб)

[newlaid 15]

По скорости on-access победил Dr.Web, а по скорости запуска офисных программ Eset. Вот такой расклад smile.gif

В тесте быстродействия побеждают программы,написанные большей частью на ассемблере,вот сюрприз-то У эсета есть DMON,который

использует запатентованный интерфейс Microsoft API для проверки документов Microsoft Office

,так что ничего удивительного,что он победил в тесте на скорость запуска офисных программ

[A. 876]

Какой ассемблер, какие патентованные интерфейсы ?

[Сергей Ильин 1538]

Какой ассемблер, какие патентованные интерфейсы ?

Бытует мнение про быстроту движка Nod32 из-за того, что он на асме написан. Я это слышал много раз еще году в 2005 Обычно еще добавляется, что движок Касперского на С и поэтому скорость Nod32 ему никогда не светит. Такие вот аргументы.

Мне лично не важно на чем там написан движок. Интересно понять как работает whitelisting при запуске приложений. Зачем тормоза при запуске хорошо известных приложений, категоризированных кстати говоря в том же KES 8.

[Danilka 678]

Сергей Ильин, а вы хоть смотрели какой компонент влияет на задержку? А то whitelisting то может и не причем.

Но KSN кстати влияет на скорость проверки по требованию, так как еще работет UDS, о чем уже писалось. При включенном интернете тажа полная проверка будет идти дольше, чем при выключенном. Но это не критично, так как от нее и не требуется быстрого окончания. Главное качество.

[Ego Dekker 111]

Сергей Ильин, прошу переименовать в тесте ESET NOD32 Smart Security 4.2 на ESET Smart Security 4.2 Business Edition, чтобы было корректно. Вы брали русские версии? Где-то обсуждалось брать только английские версии.

[Сергей Ильин 1538]

Сергей Ильин, а вы хоть смотрели какой компонент влияет на задержку? А то whitelisting то может и не причем.

Я не об этом, наоборот, я ожидаю, что whitelisting должен тормоза убирать напрочь у известных приложений. Т.е. по хорошему у KES я ожидал за счет этого за 90% результат. А как-то вот не сложилось ...

Сергей Ильин, прошу переименовать в тесте ESET NOD32 Smart Security 4.2 на ESET Smart Security 4.2 Business Edition, чтобы было корректно.

Сделаем, так будет корректнее.

Вы брали русские версии? Где-то обсуждалось брать только английские версии.

Как мы обсуждали до теста, должны были брать анлглийские версии. Но уточню на всякий случай.

[Danilka 678]

Я не об этом, наоборот, я ожидаю, что whitelisting должен тормоза убирать напрочь у известных приложений. Т.е. по хорошему у KES я ожидал за счет этого за 90% результат. А как-то вот не сложилось ...

Каким образом?

[Сергей Ильин 1538]

Каким образом?

Повторю первоначальный мой вопрос. А что проверяется при запуске известных приложений, находящихся в белых списках, категоризированных кстати говоря в том же KES 8?

Типа в whitelisting мы верим, но все равно проверим что ли?

[Danilka 678]

Сергей Ильин, т.е. выражаясь языком KES - не проверять активность программы, находящейся в группе Доверенных?

[Сергей Ильин 1538]

Сергей Ильин, т.е. выражаясь языком KES - не проверять активность программы, находящейся в группе Доверенных?

Да, именно так. Ну или проверять, но не столь основательно, как все остальные, которых нет в Доверенных.

Очевидно же, что Eset именно так и делает. Иначе у него не было бы 96%

[A. 876]

Да, именно так. Ну или проверять, но не столь основательно, как все остальные, которых нет в Доверенных.

Очевидно же, что Eset именно так и делает. Иначе у него не было бы 96%

Видишь ли, Илья.

Ситуация когда юзер запускает просто Ворд, а не открывает док-файл (что ведет к открытию Ворда) - мне кажется гораздо более редкой. Вот ты сам говоришь что Ворд по 50 раз в день запускаешь - это что ты имеешь в виду что 50 новых документов там создаешь или все таки открываешь его открывая _файлы_ ?

Соответственно, при старте просто приложения - работают одни проверки. При открытии документа - совсем другие. Вы же свалили это в кучу и вывели среднее по больнице.

Неужели непонятно, xnj например на этом графике, антивирусы при открытии файла тратят меньше времени на проверку, чем при открытии приложения без файла - именно потому что проверяются совсем разные вещи ?

а _как_ они проверются - это совсем отдельный вопрос. ага. о том как куча гавнопродуктов детектит в файлах уязвимость из Duqu - совсем недавно было показано....

[Михаил Орешин 70]

Видишь ли, Илья.

Ситуация когда юзер запускает просто Ворд, а не открывает док-файл (что ведет к открытию Ворда) - мне кажется гораздо более редкой. Вот ты сам говоришь что Ворд по 50 раз в день запускаешь - это что ты имеешь в виду что 50 новых документов там создаешь или все таки открываешь его открывая _файлы_ ?

Саша, то есть ты не о методе теста, а о его трактовании?

Получается нужна некая система весов, которая должна вытекать из "среднестатистического офиспланктон пользователя", ну или несколько моделей наложенных на сам тест...

То что касается говнопродукт/неговнопродукт рассуждать не готов

[Сергей Ильин 1538]

Соответственно, при старте просто приложения - работают одни проверки. При открытии документа - совсем другие. Вы же свалили это в кучу и вывели среднее по больнице.

Неужели непонятно, xnj например на этом графике, антивирусы при открытии файла тратят меньше времени на проверку, чем при открытии приложения без файла - именно потому что проверяются совсем разные вещи ?

Стоит здесь немного поподробнее поговорить. Если мы запускаем приложение БЕЗ файла, то проверяется только само приложение. Верно? Если ВМЕСТЕ с файлов, то само приложение и файл. Я конечно упрощаю, но разве не так?

На графике этом запуск вместе с файлом происходит быстрее по причине скорее того, что это второй запуск приложения подряд (работает оптимизация). Возможно, это не так и дело в другом - в различных технологиях проверки, о чем ты написал.

[Виталий Я. 859]

Илья, ЧО? Какая оптимизация, если приложение на 99 и девять девяток % в доверенных у АВ?

[Сергей Ильин 1538]

Илья, ЧО? Какая оптимизация, если приложение на 99 и девять девяток % в доверенных у АВ?

Почему тогда задержки при старте без файла, если оно в доверенных? Суть вопроса именно в этом. Уже 5-й пост об этом.