Обсуждение результатов сравнения антивирусов на скорость

[AM_Bot 48]

Прошу всех желающих высказаться на тему сравнения антивирусов на скорость сканирования опубликованного по адресу http://www.anti-malware.ru/index.phtml?par...&anid=speed писать своих отзывы в этом топике:!:

[Михаил Кондрашин 55]

Тестирование --- это замечательно. Вопрос в том, как интерпретировать эти цифры. Мои замечания:

1. Сканирование периодическое всего диска, это конечно хорошо, но это не является существенной частью антивирусной защиты (в том смысле, что если сканирование длится долго, его можно делать реже). Гораздо более важной составляющей является real-time-сканирование.

2. С какой скоростью работает real-time-сканирование по этим тестам не ясно. Уверен, что пропорциональности нет.

3. В некоторых продуктах (KAV и Trend Micro PC-cillin Intrenet Security) есть режим, в котором проверенные однажды файлы повторно не проверяются. В этом тесте PC-cillin вообще не тестировался, а для KAV не проводилось повторного сканирования тех же файлов.

Мне кажется, что уважаемые авторы теста просто протестировали то, что тестируется попроще. Мне гораздо больше нравятся ребята из Магдебурга (www.av-test.org), у них более академический подход. Подобные утрированные тесты они себе не позволяют.

[AM_Bot 48]

Тестирование --- это замечательно. Гораздо более важной составляющей является real-time-сканирование.

С какой скоростью работает real-time-сканирование по этим тестам не ясно. Уверен, что пропорциональности нет.

Пропорциаональность должна быть, ведь движек используется все равно однаковый, можно конечно работаь с его настройоками, например, отключать проверку архивов для реалтайма. Но скажем на исполняемых файлах разницы не должно быть, это бессмыслено бы было. С OLE файлами та же ситуация, пользователь не будет постоянно сканить всю машину, он полагается на реалтайм проверку.

3. В некоторых продуктах (KAV и Trend Micro PC-cillin Intrenet Security) есть режим, в котором проверенные однажды файлы повторно не проверяются. В этом тесте PC-cillin вообще не тестировался, а для KAV не проводилось повторного сканирования тех же файлов.

Почему не участвовал Trend Micro в этом тесте мне не понятно, может был риск его не пройти? Что касается KAV, то их ichecker в 5-ке - это мертвая технология, после каждого обновления базы все начинается заного. В новой 6-ке по моим данным есть уже нормальная опция "не сканировать неизмененные файлы".

Если будет время, то я хочу сам провести тест на скорость среди on-access сканеров, мне интересна эта тема.

[Михаил Кондрашин 55]

Пропорциаональность должна быть, ведь движек используется все равно однаковый, можно конечно работаь с его настройоками, например, отключать проверку архивов для реалтайма. Но скажем на исполняемых файлах разницы не должно быть, это бессмыслено бы было. С OLE файлами та же ситуация, пользователь не будет постоянно сканить всю машину, он полагается на реалтайм проверку.

Я не видел последнее время тестов, сравнивающих Real-time-сканирование, так что придется аргументировать теоретическими агрументами.

1. Антивирус может потреблять много оперативной памяти, что снижает производительность системы в целом, но никак не отражается в упомянутом тесте.

2. Антивирус может по-разному сканировать различные файлы. Если не ошибаюсь McAfee по-разному проверяет просто открываемые на диске файлы и файлы, загружаемые из Интернета.

Очевидно, что ощутимое замедление будет разным.

В новой 6-ке по моим данным есть уже нормальная опция "не сканировать неизмененные файлы".

То есть, если вирус и будет добавлен в базу, то на диске его KAV не обнаружит, так как файл не изменился...

Полагаю, что все должно быть немного сложнее, но общий вывод именно в том, что не так уж просто сравнивать производительности.

Если будет время, то я хочу сам провести тест на скорость среди on-access сканеров, мне интересна эта тема.

Это очень интересно. Какая методика? Предлагаю открыть новую тему в соответствующей ветке форума.

http://www.anti-malware.ru/phpbb/viewtopic.php?t=51

[AM_Bot 48]

Антивирус может по-разному сканировать различные файлы. Если не ошибаюсь McAfee по-разному проверяет просто открываемые на диске файлы и файлы, загружаемые из Интернета.

Интересно, надо поискать про это информацию.

Антивирус может потреблять много оперативной памяти, что снижает производительность системы в целом, но никак не отражается в упомянутом тесте.

Согласен, но на мой взгляд координально это не должно влиять на результат, если конечно машина не с 64 мегами оперативки :-)

То есть, если вирус и будет добавлен в базу, то на диске его KAV не обнаружит, так как файл не изменился...

Это опция, по умолчанию она выключена, но я бы у себя ее включил, так как уверен что файлы у меня чистые и проверять их повторно не надо. Просто логично, если файлы лежит долго на машине и не менялись, то их и проверять не надо, лишние тормоза только.

[Николай Терещенко 0]

Скоро постараюсь представить на ваш суд тестирование, в том числе и RealTime сканера.

К данному тестированию был довольно тщательный подход, т.к. оно проводилось не просто так, а под заказ.

Надо отметить одно. При сравнении скорости сканирования антивирусов, TrendMicro в данный момент, будет впереди. Это связано с тем, что в антивирусном "движке" TrendMicro присутствует эвристический анализатор только для макровирусов ... ;-)

[AM_Bot 48]

Надо отметить одно. При сравнении скорости сканирования антивирусов, TrendMicro в данный момент, будет впереди. Это связано с тем, что в антивирусном "движке" TrendMicro присутствует эвристический анализатор только для макровирусов ... ;-)

Это известный факт, нормальной эвристики у Trend Micro по сути нет :-)

Как альтернатива используются политики Outbreak Prevention, только за это еще дополнительно платить надо :?

[Михаил Кондрашин 55]

Это опция, по умолчанию она выключена, но я бы у себя ее включил, так как уверен что файлы у меня чистые и проверять их повторно не надо. Просто логично, если файлы лежит долго на машине и не менялись, то их и проверять не надо, лишние тормоза только.

Не ясно. Как в наше время можно в чем-то быть уверенным? Иногда сигнатуры в базу добавляются с существенным запозданием. Компонента какой-то программы в какой-то момент можеть оказаться spyware...

[Михаил Кондрашин 55]

Это связано с тем, что в антивирусном "движке" TrendMicro присутствует эвристический анализатор только для макровирусов ... ;-)

Это не совсем так. Есть несколько технолоигй

1. MacroTrap --- Эвристика для сканирвоания макросов

2. ScriptTrap --- Эвристика для JavaScript/VBScript

3. WinTrap --- Эвристика для Windows 32

4. WormTrap --- Эвристика на червей

5. PhishTrap --- Эвристика для фишинг-писем

Есть еще какие-то, но уже не помню.

Принципиально совсем другое. Все вендоры по эвристикой понимают разные вещи!

"Эвристика" --- слишком перегруженный термин. Это тема отдельного долгого разговора.

[Михаил Кондрашин 55]

Это известный факт, нормальной эвристики у Trend Micro по сути нет :-)

Ни у кого нет нормальной эвристики, к сожалению. Потому, что ее не может быть в принципе... У Norman на троечку, но он эмулирует код, а это слишком тормознуто...

[Николай Терещенко 0]

Ни у кого нет нормальной эвристики, к сожалению. Потому, что ее не может быть в принципе... У Norman на троечку, но он эмулирует код, а это слишком тормознуто...

Согласен, но не полностью. Как говориться все познается в сравнении. Конечно, если сравнивать отлов вируса по эвристике и по сигнатуре, в данный момент времени эвристика по качеству не сравнится с сигнатурным методом. Но вот если сравнивать работу уже реализованных эвристических алгоритмов в антивирусах, то можно сказать, что ни один из лидеров рынка (в том числе и Касперский – пока лидер в России ;-) ) не может предоставить нормальную эвристику.

Из статьи - http://www.anti-malware.ru/index.phtml?par...;anid=proactive все становится ясно ...

Как мне кажется, сейчас все антивирусные компании настроены на разработку хорошей эвристики, т.к. это перспективнее, нежели сигнатурный метод. Бесспорно, никто не призывает отказываться от сигнатур по ряду причин:

1. Достоверность определения вируса;

2. Скорость работы (я думаю это пока ...).

[AM_Bot 48]

Это не совсем так. Есть несколько технолоигй

1. MacroTrap --- Эвристика для сканирвоания макросов

2. ScriptTrap --- Эвристика для JavaScript/VBScript

3. WinTrap --- Эвристика для Windows 32

4. WormTrap --- Эвристика на червей

5. PhishTrap --- Эвристика для фишинг-писем

Есть еще какие-то, но уже не помню.

Принципиально совсем другое. Все вендоры по эвристикой понимают разные вещи!

"Эвристика" --- слишком перегруженный термин. Это тема отдельного долгого разговора.

А в каких продуктах у Trend Micro появились эти технологии?

Я честно говоря ничего о них не читал, хотя изучат продукты Trenda довольно подробно. Может в OfficeScan 6.5 их еще не было?

Коллеги, что вы кстати думаете по поводу вот этой статьи про проактивные технологии http://www.viruslist.com/ru/analysis?pubid=170273483?

Конткретно, меня интесует правильность деления там проактивных технологий. Ведь IPS/IDS, поведенческие блокираторы и эвристика лежат очень рядом, часто различные компании понимают под разными названиями одно и тоже.

[Михаил Кондрашин 55]

А в каких продуктах у Trend Micro появились эти технологии?

Я честно говоря ничего о них не читал, хотя изучат продукты Trenda довольно подробно. Может в OfficeScan 6.5 их еще не было?

Это есть во всех продуктах, так как это часть сканирующего модуля. Знать про это никто не знает, так как это не выбрано "фишкой", которую пиарят. В свое время, такой "фишкой" было количество поддерживаемых архивов и Trend Micro везде сообщял, что они открывают больше всех архивов (19 шт.). Через некоторое время от этого отказались и теперь нигде толком не написано, какие форматы открываются. Когда-то очень активно обсуждалось, нужно ли пиарить автоматическое обновление через Интерент, так как сделали они это первыми, но Интерент был популярен только США и для Японии, например, не очевидно было интересно ли это потенциальным клинетам.

Когда-то, когда Trend Micro первыми сделали, какую-то эвристику и пиарили это, то через небольшой промежуток времени конкуренты стали называть эвристикой самые разные подходы и технологии. Стало ясно, что оспаривать все сообщения конкурентов не будешь и теперь толком не ясно, что за эвристики используются.

Это как мощность двигателя Рольс-Ройса --- достаточная.

У Trend Micro есть, как бы это сказать, обобщенные сигнатуры (они в основной базе --- вместе со всеми остальными) и они апеллируют к эвристическим функциям движка и определяют не конкретный вирус, а например, семейство. Такова идея.

Насколько я понял, по данному вопросу позиция Trend Micro такая же, как и у изготовителей Рольс-Ройсов. Есть некоторые технологии, коммерческого названия у них нет. Клиентам этого знать не обязательно.

[AM_Bot 48]

Насколько я понял, по данному вопросу позиция Trend Micro такая же, как и у изготовителей Рольс-Ройсов. Есть некоторые технологии, коммерческого названия у них нет. Клиентам этого знать не обязательно.

Я бы с этим согласился, если б не видел результаты теста проактивной защиты Адреса Клименти на www.av-comparatives.org, чего-то у тренда там эффективность всего 12% по ITW колллекции.

Для сравнения у Nod32 - 90%, а у BitDefender - 69%.

[Михаил Кондрашин 55]

Насколько я понял' date=' по данному вопросу позиция Trend Micro такая же, как и у изготовителей Рольс-Ройсов. Есть некоторые технологии, коммерческого названия у них нет. Клиентам этого знать не обязательно.[/quote']

В некотором смысле вы именно согласились со мной, так как не важно, как называются технологии, а то как они реализованы и что дают в результате.

Что касается процитированного результата, то это интересный, но не самый показательный результат. Если читать описание теста, то в момент тестирования был взят набор из появившихся в тот момент вирусов, которые представлял собой большое количество разновидностей небольшого количества вирусов (Agobot, Mydoom, Mytob, Sdbot, Rbot). Вероятно, что ребята из Eset очень здорово угадали с эвристической сигнатурой именно для этих вирусов и без всяких дополнительных обновлений ловили модификации.

Вот если бы подобный мониторинг осуществлялся постоянно! Представляете себе тестовую систему, которая постоянно тестирует новые вирусы на нескольких продуктах. Такой бы тест дал бы более интересный результат.

Есть еще один аспект, который нельзя не учитывать при подобном тестировании, но его авторы теста проигнорировали. Дело в том, что в некоторых продуктах эвристика не является только частью сканирующего модуля. Собственно эвристические сигнатуры помещаются в ту же антивирусную базу, что и обыкновенные сигнатуры, а сканирующий модуль их интерпретирует. При таком подходе невозможно проверить эвристику, запустив антивирус без базы или с максимально устаревшей базой. Ведь никто не тестирует антивирус, как он будет работать вообще без обновлений! Интересно только, как защищен пользователь во время временного окна после появления вируса, но до выхода обновления.

Поясню на примере:

Предположим, что при тестировании в течение 2-х недель антивирус с "замороженными" базами на момент начала тестирования не поймал ни одного вируса, из появившихся за эти две недели. Если этот антивирус использует описанный выше подход к эвристике, то, может быть, разработчики в течение первой недели поняли, как нужно описать все семействе Agobot и выпустили соответствующую сигнатуру, которая обеспечила обнаружение всего, что появилось за вторую неделю теста, но мы с вами об этом не узнаем.

Описанная выше технология используется Trend Micro, а сама порочность столь бесхитростного подхода к тестированию эвристики отмечается и в материалах Eset (NOD32), хотя, судя по упомянутому тесту, им грех жаловаться.

[AM_Bot 48]

Клименти в своих тестах пошел по простому пути, это понятно. При этом я согласен, что ущемляются некоторые участники, чей подход в проактивности несколько иной, тот же Trend Micro. Ведь его политики (Outbreak Prevention), которые выпускаются регулярно, тут вообще не учитываются.

На мой взгляд лучше выглядят тест эвристики на конкретной вирусной эпидемии, как это было сделано на www.av-test.org (ссылку опубликую если найду) с червем MyDoom.m.

Но тут тоже свои минусы: сложно угадать с началом эпидемии и есть элемент случайности. А кое-кто из-за близости к вирусописателям может выглядеть лучше

[Михаил Кондрашин 55]

На мой взгляд лучше выглядят тест эвристики на конкретной вирусной эпидемии, как это было сделано на www.av-test.org (ссылку опубликую если найду) с червем MyDoom.m.

Но тут тоже свои минусы: сложно угадать с началом эпидемии и есть элемент случайности. А кое-кто из-за близости к вирусописателям может выглядеть лучше

av-test.org все седлали правильно (не считая OPS от Trend Micro и может быть каких-нибдуь других родственных технологий от других компаний). Тест был фактически для всех вирусов, появившехся в течение времени тестирования. Беда в том, что в открытом доступе есть только сводный отчет, где приведен пример с одним единственным вирусом.

[Михаил Орешин 70]

Пропорциаональность должна быть, ведь движек используется все равно однаковый, можно конечно работаь с его настройоками, например, отключать проверку архивов для реалтайма. Но скажем на исполняемых файлах разницы не должно быть, это бессмыслено бы было. С OLE файлами та же ситуация, пользователь не будет постоянно сканить всю машину, он полагается на реалтайм проверку.

Кстати по поводу пропорциональности. Чем объяснить цифры по CA (не большой знактое данных продуктов)

8 CA eTrust Antivirus(l) 220

10 CA Vet Anti-Virus 236

11 CA eTrust Antivirus (V) 241

Судя по всему все таки погрешностью измерения.

Тогда первая четверка, уверенно заняла первое место:

1 AhnLab V3 Pro 146

2 Authentium Command 154

3 Eset NOD32 159

4 McAfee VirusScan 160

Может быть имело смысл объеденить их про группам ? А, ну и конечно внимательно, а собственно на что каждый продукт проверяет файлы.

А то можем опять попасть в ситуацию: "Классический Антивирус" и "Современный антивирус"

[AM_Bot 48]

Кстати по поводу пропорциональности. Чем объяснить цифры по CA (не большой знактое данных продуктов)

8 CA eTrust Antivirus(l) 220

10 CA Vet Anti-Virus 236

11 CA eTrust Antivirus (V) 241

Все просто, был раньше такой антивирус Vet (http://www.vet.com.au/), потом его купила СА, но продукт не убили и не стали убирать из продажи. У самой СА сейчас есть свой антивирус CA eTrust Antivirus с двумы движками InocuLAN и Vet , в котором эти движки можно переключать. Сразу два нельзя использовать, насколько я знаю, поэтому и тестируются они поочередно.

Соответвенно у СА в тестах по сути 2(3) антивируса: CA eTrust Antivirus(l), CA Vet Anti-Virus, CA eTrust Antivirus (V). Забавно, что "родной" Vet в тесте быстрее.

ну и конечно внимательно, а собственно на что каждый продукт проверяет файлы.

А то можем опять попасть в ситуацию: "Классический Антивирус" и "Современный антивирус"

Проверяют на то, что поддерживается в их базах есть, не больше не меньше. Проводя подобные тесты на скорость надо абстрагироваться от эффективности по детекшену, предполагая что они все одинаковы (фиксируем этот параметр).

По результатам уже могут быть разные выводы типа: AhnLab быстрее, но он не детектит много, чего детектит McAfee ... мне детекшен важнее, куплю McAfee. Или я выбарию золутую середину по скорости/детекшену - возьму Доктора Веба.

Это уже на усмотрение пользователей.

[SERG 0]

если согласиться с правильностью представленных исходных данных то сомнительными или заказными выглядят главный выводы о скорости как и предлагаемая методика ее определения ввиде только суммарного определения времени по всем группам файлов

1-очевидно что разные группы имели бы разные весовые коэффициенты для разных групп данных а мб и пользователей

(например некий администратор сканирующий только большие архивы с определенным типом данных на предмет вирусов в архиве- поставил бы высокий весовой коэффициент времени сканирования архива по сравнению с т-сканированием исполняемых файлов)

2-дб приведен к одинаковому сравнимому показателю уровень эвристики или у всех она дб отключена

3-введен нормирующий коэффицент связанных с декларируемым количеством определяемых вирусов

4-скорость online сканирования?

[AM_Bot 48]

если согласиться с правильностью представленных исходных данных то сомнительными или заказными выглядят главный выводы о скорости как и предлагаемая методика ее определения ввиде только суммарного определения времени по всем группам файлов

Общие выводы о скорости в конце статьи - это некое обобщение, которое должно быть понятно для большинства пользователей, которые не хотят разбираться в деталях. Более продвинутые могут посмотрить скорости работы антивирусов на отдельных группах файлов, ведь эти данные тоже опубликованы. Вот если бы их не было, то ваше замечание было бы справедливо.

Что касается заказного характера ... тут даже нет логики никакой. Что далекая корейская компания AhnLab или Authentium будет заказывать манипуляцию с данными VB в России?? Они здесь вообще не работают. Чей это заказ может быть на ваш взгляд то?

1-очевидно что разные группы имели бы разные весовые коэффициенты для разных групп данных а мб и пользователей

(например некий администратор сканирующий только большие архивы с определенным типом данных на предмет вирусов в архиве- поставил бы высокий весовой коэффициент времени сканирования архива по сравнению с т-сканированием исполняемых файлов)

Для этого можно посмотреть отдельно результаты сканирования архивов.

2-дб приведен к одинаковому сравнимому показателю уровень эвристики или у всех она дб отключена

У всех антивирусов используются настройки по умолчанию. Сделать одниковые настройки у всех невозможно. Но все антивирусы в тесте получили VB100%, так что с этой точки зрения они одниково эффективны.

3-введен нормирующий коэффицент связанных с декларируемым количеством определяемых вирусов

4-скорость online сканирования?

Какой коэффициент и причем тут online сканирование?

Непонял. Поясните пожалуйста, что имеется ввиду.