Перейти к содержанию
Сергей Ильин

Тест быстродействия корпоративных антивирусов (результаты)

Recommended Posts

Вадим Волков
Возможно, что-то в этом есть. Давайте думать над методикой. Меня только всякий раз расстраивает, что это происходит уже после теста.

P.S. У меня на руках результаты аналогичного теста для персональных версий. Награды только осталось распределить ;)

Интересуемого меня продукта в этом тесте наверняка нет? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Интересуемого меня продукта в этом тесте наверняка нет?

К сожалению, нет :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Эммм, а касаемо запуска приложений.

Как я понял процесс тестирования был такой:

1) Запустили без файла. 2) Затем запустили с маленьким. 3) Затем с большим. Между этими шагами система не перезагружалась. Так?

Если да, а пробовали выполнять каждый шаг по нескольку раз и подсчитывать время, особенно это касается Word и других программ из "офисного" пакета? Насколько я могу судить - результаты будут разными, т.е. последующие запуски будут проходить быстрее (если систему не перезагрузить). А тут уже погрешность в тестировании. Так как эти приложения могут запускаться и не один раз на дню, а один раз замедление не столь критично.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как я понял процесс тестирования был такой:

1) Запустили без файла. 2) Затем запустили с маленьким. 3) Затем с большим. Между этими шагами система не перезагружалась. Так?

Да, именно так, все верно.

Если да, а пробовали выполнять каждый шаг по нескольку раз и подсчитывать время, особенно это касается Word и других программ из "офисного" пакета

Несколько раз одно и тоже не запускали. Хотя с моей точки зрения запуск одной и той же программы подряд, но с разными файлами как раз и должен показывать уровень реальной оптимизации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Несколько раз одно и тоже не запускали. Хотя с моей точки зрения запуск одной и той же программы подряд, но с разными файлами как раз и должен показывать уровень реальной оптимизации.

В том то и все и дело. С разными. Ты можешь сейчас запустить с 5 МБ файлом, потом через минут 20 с 1МБ, потом с 6МБ и потом с 2 МБ. Значения будут разный как в зависимости от размера файла, так и в зависимости от очередности запуска (т.е. например будет видна разница при запуске 5 МБ и 6МБ, причем не из за того (в большей степени), что файлы разные, а то что запуск не первый.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Интересное направление дискуссии у нас.

Вместо того, чтобы обсуждать вопросы: "Почему же Dr.Web такой нереально быстрый стал?" или "Почем Eset почти не тормозит запуск программы?" Идет какое-то обсасывание состава программ, как их запускать и т.п. Это все вторично. Есть базовые характеристики скорости работы, они представлены и они четко видны.

От того, что мы уберем Skype или сделаем еще пару прогонов копирования тестовой коллекции антивирусный монитор Dr.Web медленнее не станет. И Eset не станет тормозить вдруг при открытии Microsoft Word. Поэтому все эти разговоры в пользу бедных.

Мне вот непонятно другое. Например, почему при наличии репутационной базы, белых списков, всякий там модных хипсов--гипсов, тот же Касперский все равно тормозит запуск программ. Зачем проверять заведомо чистое приложение, подписанное, с известными контрольными суммами и т.п. .... Загадка Nod32 раскрыта?

Мне непонятно, что мешает Доктору сделать быстрый on-demand сканер второй год.

Не понятен провал AVG в этом тесте, хотя в схожем тесте для персональных версий он был очень даже неплох.

В общем есть куда больше интересных вопросов для анализа, чем ковыряться в том, что лучше % или секунды на графике.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Интересное направление дискуссии у нас.

Вместо того, чтобы обсуждать вопросы: "Почему же Dr.Web такой нереально быстрый стал?" или "Почем Eset почти не тормозит запуск программы?" Идет какое-то обсасывание состава программ, как их запускать и т.п. Это все вторично. Есть

А что обсуждать? Каждый получил свои результаты ИМХО. :) Кто то молодец, кто то нет. Это не в пользу "бедных", просто лично я "проспал" обсуждение методологии, поэтому высказал свое мнение сейчас, причем это реально важное замечание, так как можно воочую наблюдать как открывая первый раз (после старта системы) большое файло тормозит запуск и как второй раз это файло. В этом вся и соль.

А касаемо технологий - отвлечемся от корпоративных и возмьмем MSE - чем он тормозит запуск программ? OAS?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RomaNNN

Поправьте :)

(актуальных версий на момент начала тестирования - 15.11.2011)

Интересно было бы посмотреть на результаты DrWeb с новым движком, который вышел в релиз 12.12.11 - http://news.drweb.com/show/?i=2071

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

RomaNNN, а в какой версии он стал доступен? В таком же тесте но для персональных антивирусов мы изменяли Dr.Web Security Space 7 (7.0.0.10140). Если там новый движок, то мы его уже протестировали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RomaNNN
RomaNNN, а в какой версии он стал доступен? В таком же тесте но для персональных антивирусов мы изменяли Dr.Web Security Space 7 (7.0.0.10140). Если там новый движок, то мы его уже протестировали.

Сейчас узнаю.

кстати, поправьте еще описание -

Рисунок 2: Занимаемая антивирусов оперативная память в состоянии покоя (Мб)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
newlaid
По скорости on-access победил Dr.Web, а по скорости запуска офисных программ Eset. Вот такой расклад smile.gif

В тесте быстродействия побеждают программы,написанные большей частью на ассемблере,вот сюрприз-то :D У эсета есть DMON,который

использует запатентованный интерфейс Microsoft API для проверки документов Microsoft Office
,так что ничего удивительного,что он победил в тесте на скорость запуска офисных программ :rolleyes:
  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Какой ассемблер, какие патентованные интерфейсы ? :facepalm:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Какой ассемблер, какие патентованные интерфейсы ?

Бытует мнение про быстроту движка Nod32 из-за того, что он на асме написан. Я это слышал много раз еще году в 2005 :) Обычно еще добавляется, что движок Касперского на С и поэтому скорость Nod32 ему никогда не светит. Такие вот аргументы.

Мне лично не важно на чем там написан движок. Интересно понять как работает whitelisting при запуске приложений. Зачем тормоза при запуске хорошо известных приложений, категоризированных кстати говоря в том же KES 8.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Сергей Ильин, а вы хоть смотрели какой компонент влияет на задержку? А то whitelisting то может и не причем.

Но KSN кстати влияет на скорость проверки по требованию, так как еще работет UDS, о чем уже писалось. При включенном интернете тажа полная проверка будет идти дольше, чем при выключенном. Но это не критично, так как от нее и не требуется быстрого окончания. Главное качество.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego Dekker

Сергей Ильин, прошу переименовать в тесте ESET NOD32 Smart Security 4.2 на ESET Smart Security 4.2 Business Edition, чтобы было корректно. Вы брали русские версии? Где-то обсуждалось брать только английские версии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей Ильин, а вы хоть смотрели какой компонент влияет на задержку? А то whitelisting то может и не причем.

Я не об этом, наоборот, я ожидаю, что whitelisting должен тормоза убирать напрочь у известных приложений. Т.е. по хорошему у KES я ожидал за счет этого за 90% результат. А как-то вот не сложилось ...

Сергей Ильин, прошу переименовать в тесте ESET NOD32 Smart Security 4.2 на ESET Smart Security 4.2 Business Edition, чтобы было корректно.

Сделаем, так будет корректнее.

Вы брали русские версии? Где-то обсуждалось брать только английские версии.

Как мы обсуждали до теста, должны были брать анлглийские версии. Но уточню на всякий случай.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Я не об этом, наоборот, я ожидаю, что whitelisting должен тормоза убирать напрочь у известных приложений. Т.е. по хорошему у KES я ожидал за счет этого за 90% результат. А как-то вот не сложилось ...

Каким образом? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Каким образом?

Повторю первоначальный мой вопрос. А что проверяется при запуске известных приложений, находящихся в белых списках, категоризированных кстати говоря в том же KES 8?

Типа в whitelisting мы верим, но все равно проверим что ли?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Сергей Ильин, т.е. выражаясь языком KES - не проверять активность программы, находящейся в группе Доверенных?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей Ильин, т.е. выражаясь языком KES - не проверять активность программы, находящейся в группе Доверенных?

Да, именно так. Ну или проверять, но не столь основательно, как все остальные, которых нет в Доверенных.

Очевидно же, что Eset именно так и делает. Иначе у него не было бы 96%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Да, именно так. Ну или проверять, но не столь основательно, как все остальные, которых нет в Доверенных.

Очевидно же, что Eset именно так и делает. Иначе у него не было бы 96%

Видишь ли, Илья.

Ситуация когда юзер запускает просто Ворд, а не открывает док-файл (что ведет к открытию Ворда) - мне кажется гораздо более редкой. Вот ты сам говоришь что Ворд по 50 раз в день запускаешь - это что ты имеешь в виду что 50 новых документов там создаешь или все таки открываешь его открывая _файлы_ ?

Соответственно, при старте просто приложения - работают одни проверки. При открытии документа - совсем другие. Вы же свалили это в кучу и вывели среднее по больнице.

Неужели непонятно, xnj например на этом графике, антивирусы при открытии файла тратят меньше времени на проверку, чем при открытии приложения без файла - именно потому что проверяются совсем разные вещи ?

test28_12_10.png

а _как_ они проверются - это совсем отдельный вопрос. ага. о том как куча гавнопродуктов детектит в файлах уязвимость из Duqu - совсем недавно было показано....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Михаил Орешин
Видишь ли, Илья.

Ситуация когда юзер запускает просто Ворд, а не открывает док-файл (что ведет к открытию Ворда) - мне кажется гораздо более редкой. Вот ты сам говоришь что Ворд по 50 раз в день запускаешь - это что ты имеешь в виду что 50 новых документов там создаешь или все таки открываешь его открывая _файлы_ ?

Саша, то есть ты не о методе теста, а о его трактовании?

Получается нужна некая система весов, которая должна вытекать из "среднестатистического офиспланктон пользователя", ну или несколько моделей наложенных на сам тест...

То что касается говнопродукт/неговнопродукт рассуждать не готов

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Соответственно, при старте просто приложения - работают одни проверки. При открытии документа - совсем другие. Вы же свалили это в кучу и вывели среднее по больнице.

Неужели непонятно, xnj например на этом графике, антивирусы при открытии файла тратят меньше времени на проверку, чем при открытии приложения без файла - именно потому что проверяются совсем разные вещи ?

Стоит здесь немного поподробнее поговорить. Если мы запускаем приложение БЕЗ файла, то проверяется только само приложение. Верно? Если ВМЕСТЕ с файлов, то само приложение и файл. Я конечно упрощаю, но разве не так?

На графике этом запуск вместе с файлом происходит быстрее по причине скорее того, что это второй запуск приложения подряд (работает оптимизация). Возможно, это не так и дело в другом - в различных технологиях проверки, о чем ты написал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Илья, ЧО? Какая оптимизация, если приложение на 99 и девять девяток % в доверенных у АВ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Илья, ЧО? Какая оптимизация, если приложение на 99 и девять девяток % в доверенных у АВ?

Почему тогда задержки при старте без файла, если оно в доверенных? Суть вопроса именно в этом. Уже 5-й пост об этом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×