Сравнительный анализ антивирусного ПО

[pROCKrammer 50]

А почему не тестировали F -Prot? О нём чтото всегда забывают )) А так хороший тест малацы!

[Сергей Ильин 1538]

Согласен с Иваном, если у продукта нет нужного функционала и он поэтому не тестировался, то надо ему ставить ноль баллов, а то получится бредовая система, что антируткита нет, а по нему фактически продукта получает по полной (его ноль не учитывается).

F-Prot не тестируется потому как он в России никому не интересен, да и в мировом масштабе тоже не особо :-)

[Александр Шабанов 120]

Итак, резюмируя всё выше сказанное можно сделать пока следующие выводы:

1) Определение числа баллов по тестам

- По уникальным тестам суммируем результаты в процентах по каждому вендору;

- Если результат теста интерпритируется не в процентах, то конвертируем в проценты относительно идеального результата;

- По подобным тестам разных лабораторий результат усредняется.

- Если какой-либо вендор не принимал участие в тесте, по причине отсутствия функциональности, то он получает 0 за данный тест;

- Если какой-либо вендор не принимал участие в тесте, по причине автора теста, то необходимо убирать либо тестовую лабораторию, либо вендора из комплексного анализа.

2) Теперь необходимо определить:

а) Состав тестовых лаборатори

б) Типы тестов.

в) Период, за которой необходимо производить анализ.

Жду Ваших комментариев.

По тестовым лабораториям предлагаю пока такой состав:

1) av-comparatives.org

2) av-test.org

3) VB100

4) anti-malware.ru

P.S. VB непонятно как интерпретировать, так как результат теста pass/fail.

[Valery Ledovskoy 1082]

P.S. VB непонятно как интерпретировать, так как результат теста pass/fail.

Выкинуть VB совсем? Ибо результат pass/fail никак не годится для дальнейшего интегрирования. Это всё равно что в NFS играть при разрешении 3х3.

Более логично для VB вместо взял/не взял брать те же проценты. Но тогда у всех будет очень близко к 100%, что тоже не есть хорошо/информативно. Т.е. не добавит практически ничего к суммарной (интегральной) информации по возможностям/недостаткам антивирусов, ибо все будут фактически равны/идеальны. Т.е. снова приходим к тому, что включать не стОит.

[Сергей Ильин 1538]

3) VB100

VB в топку, эти тесты ничего не показывают. По остальному составу отводов нет.

Идея с подсчетом нормированных баллов относительно идеала мне нравится. По этому показателю видно несовершенство существующих методов защиты :-)

[Иван 290]

VB в топку, эти тесты ничего не показывают. По остальному составу отводов нет.

Идея с подсчетом нормированных баллов относительно идеала мне нравится. По этому показателю видно несовершенство существующих методов защиты :-)

ну почему уж сразу в топку, ничего не показывает значек вб100 получил не получил - взял все ITW самплы или не взял

но если смотреть тест целиком, то там ведь прогон идет и по собственной коллеции вб100

так шо можно считать например сколько вирусов у кого пропущено в этом тесте

данные могу дать

[Deja_Vu 366]

Не понятно, как суммарно NOD обошtл Avast, при том, что лечение у него явно хуже, и обнаруживает Avast чуть лучше чем NOD.

VB100% тоже как то влиял на график? ...

(еще сомнение вызвал BitDefender при его лучшем детекте, но т.к. у него худшее лечение, то еще можно согласиться)

Очень интересная реакция на статью (http://gelz.net/docs/ws246_i_dlja_wseh/sravnitelbnyj_analiz_antivirusnogo_po.html)

Kunzite [ 13:29 14 Января, 2008 года ]

Значит так, Господа, а теперь послушайте мнение эксперта ©

Имею статус Eset TSE (Technical Support Engineer), скажу следующее.

1)Ни один из тестов указанных выше, нельзя назвать объективным.

2) VirusBulletin может любому антивирус дать первое место во всех тестах, если с ними договориться и платить им на постоянной основе, как это делает Eset

3) Это не означает что Eset Nod32 плохой антивирус

Просто есть вопросы практических аспектов антивируса и проводимой его производителем политикой.

Так вот, даже в вышеуказанных тестах видно распределение особенностей антивирусов.

Eset Nod32

имеет отличные показатели по отловле вирусов, троянов, червей и много чего еще..

также не создает сильной нагрузки на работу системы, за исключением некоторых случаев.

но его недостатки следующие:

- при использовании не системных методов копирования файла локально или по сети, Nod создает дополнительную нагрузку на систему, анализируя каждый блок информации, что сказывается на том, что копирование происходит отрывисто, по мере того как Nod проверяет отдельные блоки. Простой пример - при копировании фаром файлов на каждом передаваемом блоке видны тормоза, причем распространяется эта нагрузка не только на Far.exe, но и на систему в целом, отдавая приоритет проверке антивирусом текущего потока данных. Почему-то такая особенность была замечена только за Nod32, при том что у других антивирусов все шло гладко

- политика Eset такова, что Spyware и adware они не считают опасными приложениями и потому их продукт ловит из них только очень малую часть.

- если в плане отлавливания у Nod32 достаточно высокий уровень, то вот с лечением у него все не очень радужно, чаще всего (на моей обширной практике), он отказывается лечить зараженный файл (не именно вирусный файл, а зараженный файл, который может содержать полезные данные)

есть и еще несколько мелких недостатков, но они не сильно существенны.

Продолжаем разбор полетов

Kaspersky

Ну тут проще сказать сразу, что в принципе такие продукты, как версия 3, версия 4, версия 5, версия 6 и версия 7 - это абсолютно разные продукты и все ведут себя по-своему, обладая различными достоинствами и недостатками.

Поскольку 7-ю версию пока не очень пользуют, опишу вкратце достоинства и недостатки 6-й версии, по которой я сегодня сдал экзамен.

Достоинства ее в том, что у нее достаточно высок уровень улова шпионских модулей, всяких программ-шуток, рекламных модулей и прочей лабуды, не относящейся напрямую к вирусам. Также его модуль Проактивной защиты отслеживает изменение критических веток реестра, а также активность типа записи программ в автозагрузку в реестре или перехват ими информации с других процессов.

Ну что еще, они могут таже похвастаться тем, что у них почти что чаще всех выходят обновления антивирусных баз, раз в несколько часов (по их рекомендации надо обновлять антивирус раз в 3 часа).

Ну и еще более-менее симпатичный интерфейс, который в 6-й версии был почти целиком слизан с интерфейса Norton Antivirus'а.

Но тут наверное достоинства заканчиваются. И начинаются недостатки.

- главный недостаток - не самый высокий уровень отлова вирусов и их

модификаций. модуль эвристики (выявления вирусов не по четкой сигнатуре а по похожести поведения) проработан намного хуже, чем у Nod32, что приводит к тому, что не все вирусы и не вся их активность выявляется сразу.

- модуль Проактивной защиты конечно вылавливает много действий похожих на подозрительные, но это приводит к множеству ложных срабатываний, а в итоге включается человеческий фактор, когда пользователю надоедает, что при изменениях в системе или реестре, Касперский его часто спрашивает подтверждение и тогда пользователь просто отключает проактивную защиту, при этом сами понимаете - отключение любого модуля антивируса не только снижает надежность его работы, но и открывает брешь, которой могут воспользоваться вирусы или вредоносные программы.

- соответственно, 6-я версия Касперского тяжеловесная и создает сильную нагрузку на систему. Как они объясняли в своем курсе, надежность важнее, чем легковесность антивируса. вот и доигрались.

Dr.Web

Лаборатория Лозинского.. с них вобщем-то все начиналось на просторах бывшей СССР. Был Adinf, потом уже Drweb, который был очень популярен под досом.

Опять же его можно расценивать как минимум три разные версии.

Дос-версия, старая версия под Windows 95/NT и современная версия.

Конечно речь я заведу о современной версии.

У ДрВеб есть два достоинства, которые его выделяют на фоне прочих антивирусов:

- он очень легкий и мало влияет на систему, даже когда копирование файлов производится нестандартными методами.

- отличный процент лечибельности найденных зараженных файлов

Это позволяет использовать его на первом этапе лечения уже зараженной системы(например загрузившись с Live CD). Правда вторым этапом все же стоит прогнать каким-нибудь другим антивирусом.

Вот теперь пара главных недостатков:

- очень низкий процент ловли вирусов, ниже чем у других, знает только

известные вирусы, большинство модификаций, а малоизвестные может и не ловить

- пропускает много подозрительной активности, а также шпионов и прочие гадости.

Ну и наконец

Avira

Германский антивирус, достаточно молодой, но уже успевший завоевать уважение.

Его бесплатная версия обладает почти всеми теми же особенностями, что и платная, только отсутствует модуль проверки почтового трафика.

Достоинств у него много - легкий, при этом отлично контроллирующий

подозрительную активность, прекрасный процент улова вирусов, троянов, шпионов, adware и прочей гадости. Удобный интерфейс, шустрая работа, не тормозит систему.

Однако и у него есть недостатки:

- очень плохо умеет лечить зараженные файлы, если файл заражен чаще всего предлагает его удалить или закрыть к нему доступ

- нет настройки исключений, вернее есть, но не гибкие.. если один файл по его версии содержит вирус, а вы уверены, что это просто похожая технология в файле (например в патче), то Авира будет орать на этот файл каждый раз как его увидит, то есть не только при копировании файла или открытии, но и даже просто при запросе листинга каталога, где этот файл лежит, при этом каждый раз приходится Авире объяснять, что этот файл нормальный, игнорировать его и нет галочки "запомнить для данного файла".

Можно было бы упомянуть Symantec, как неплохое решение для серверов, но в последние пару месяцев, он на работе у нас показал себя с не лучшей стороны, очень тормозит работу даже мощной машины, к сожалению процент улова на нем выяснить не удалось, раньше он был достаточно высок (имея ввиду Norton Antivirus, как домашнее решение).

Вобщем подведя итоги скажу, Аваст и AVG я не упоминал потому, что серьезными антивирусами ни их ни Clam не считаю, ибо очень высок процент пропуска вирусов и троянов ими, потому про них даже не говорю. А Аваста конечно революционный симпатичный интерфейс, что многих привлекает им пользоваться, но я бы ему свой компьютер не доверил, чего я не могу сказать про Авиру или Nod32, которые считаю лучшими.

хм ... знает только 6ку.. при том уже 8ка на подходе -))

[Deja_Vu 366]

ну почему уж сразу в топку, ничего не показывает значек вб100 получил не получил - взял все ITW самплы или не взял

но если смотреть тест целиком, то там ведь прогон идет и по собственной коллеции вб100

так шо можно считать например сколько вирусов у кого пропущено в этом тесте

данные могу дать

А как же быть с "поврежденными" семплами у Нода? ((-

Что-то с VB100 очень мутно и сомнительно, особенно если учесть http://www.anti-malware.ru/forum/index.php...ost&p=31832

(см. что выделено жирным)

[Alex_Goodwin 81]

Kunzite [ 13:29 14 Января, 2008 года ]

имхо бред (с). Аргументы детские, и вообще хреновый из него эксперт

[Storm 0]

имхо бред (с). Аргументы детские, и вообще хреновый из него эксперт

А что вы ждали от Eset TSE.

[Иван 290]

А как же быть с "поврежденными" семплами у Нода? ((-

Что-то с VB100 очень мутно и сомнительно, особенно если учесть http://www.anti-malware.ru/forum/index.php...ost&p=31832

(см. что выделено жирным)

аргументируй

[Deja_Vu 366]

аргументируй

Другими словами ... если учесть то, что тесты VB банально покупаются, то откуда знать, сколько действительно сеvплов не поймал тот или иной антивирус из тех, что прошли VB100.

Или же, возможна что VB поступают по другому. Подготавливают коллекции специально для определенных антивирусов.

В любом случае такие результаты учитывать нельзя, т.к. они подстроенны тем или иным образом.

Это как проводить соц опрос в обществе любителей НОДа и потом утверждать что 80% пользователей предпочитают НОД.

[Иван 290]

имхо бред (с). Аргументы детские, и вообще хреновый из него эксперт

аргументируй

[Storm 0]

аргументируй

1) "модуль Проактивной защиты конечно вылавливает много действий похожих на подозрительные, но это приводит к множеству ложных срабатываний" - неправда, ибо в режиме базовой защиты срабатывания практически все по теме.

2) "6-я версия Касперского тяжеловесная и создает сильную нагрузку на систему" - не соответствует действительности, если пятерку я замечал, то 6-7 версии я не замечаю даже при включение на максимум эвристики.

[Black Angel 125]

2) "6-я версия Касперского тяжеловесная и создает сильную нагрузку на систему" - не соответствует действительности, если пятерку я замечал, то 6-7 версии я не замечаю даже при включение на максимум эвристики.

Подтверждаю. Эвристика на максимуме. Никаких тормозов не ощущаю. У меня KIS 7.0.1.321.

[Александр Шабанов 120]

VB в топку, эти тесты ничего не показывают. По остальному составу отводов нет.

Идея с подсчетом нормированных баллов относительно идеала мне нравится. По этому показателю видно несовершенство существующих методов защиты :-)

Итак, предлагаю вернуться к первоначальной теме.

Пришел к выводу, что по имеющимся тестам комплексный анализ необходимо проводить по следующим компонентам антивирусной защиты:

1) Общее обнаружение вредоносны программ

Выборка тестов:

а) Тест Virus Bulletin

Июль 2007, Windows XP

б) Тест AV-Test.com

Ноябрь 2007, Windows XP;

в) Тест AV-Comparatives.org

Август 2007, Windows XP;

Итоговый результат определяется средним значением.

Вес показателя - 1

2а) Обнаружение неизвестных угроз (проактивная защита)

Выборка тестов:

а) Тест Av-test.com

Январь 2008, Windows XP

б) Тест Anti-malware.ru

Декабрь 2007, Windows XP

в) Тест Av-comparatives.org

Ноябрь 2007, Windows XP

Итоговый результат определяется средним значением.

Вес показателя - 0.5

2б) Количество ложных срабатываний

Выборка тестов:

а) AV-comparatives

Ноябрь 2007, Windows XP

Вес показателя - 0.5

3) Лечение на активное заражение

Выборка тестов:

а) Anti-Malware.Ru

Сентябрь, 2007, Windows XP

Вес показателя - 1

4) Самозащита системы

Выборка тестов:

а) Anti-Malware.Ru

Август 2007, Windows XP

5) Поддержка упаковщиков

Выборка тестов:

а) Anti-Malware.Ru

Август, 2006, Windows XP

Вес показателя - 1

6) Скорость реакции вирусных лабораторий на новые угрозы

Выборка тестов:

а) AV-Test Январь 2008

Вес показателя - 1

Тестирование на обнаружение и лечение руткитов умышеленно не взял, так как это частный случай п.1 и п.3, в данный момент невозможно определить вес данного показателя, так как требует разбиения п.1 и п.3 на субпоказатели, а именно на все типы вредоносных программ, но тестов по разным типам вредоносов отдельно еще не проводились.

Возможно упустил какой-то тест, либо есть несогласия с весами и показателями, буду очень признателен Вашим комментариям.

[alexgr 556]

Dr.Web

Лаборатория Лозинского.. с них вобщем-то все начиналось на просторах бывшей СССР. Был Adinf, потом уже Drweb, который был очень популярен под досом.

Опять же его можно расценивать как минимум три разные версии.

Тяжелый "специалист". Хотя бы ознакомился с современным состоянием дел, узнал бы - какая и чья лаборатория в наличии .... Анализ и анализом то трудненько назвать, ежели честно. Хотя ознакомиться с еще одной позицией НОД полезно. Но вот экспертом это человека назвать даже после ящика пива не смогу. Никогда. Не тянет...

[Иван 290]

а) Anti-Malware.Ru

Август, 2006, Windows XP

слишком древний, надо нового ждать от антималваре

а почему интерсно за проактивку - 0,5, а за время реакции и упаковщики - 1?

кстати насколько я понимаю у маркса время реакции учитывает и проактивку - тогда он ставит нолик

[Александр Шабанов 120]

а почему интерсно за проактивку - 0,5, а за время реакции и упаковщики - 1?

Так как проактивка составляет совокупный вес с ложными срабатываниями, т.е. если нет фолсов получишь единицу в итоге за проактивку

[Иван 290]

Так как проактивка составляет совокупный вес с ложными срабатываниями, т.е. если нет фолсов получишь единицу в итоге за проактивку

с какого перепугу? то что клименти фолсы смотрит в тесте на эвристики это его личная проблема

но фолсы-то не заслуга только эвристиков, сигнатурных фолсов тоже пруд пруди. собственно и у клименти фолсы считает все и сигнатурные и евристиком

[Valery Ledovskoy 1082]

а) Тест Virus Bulletin

Июль 2007, Windows XP

б) Тест AV-Test.com

Ноябрь 2007, Windows XP;

в) Тест AV-Comparatives.org

Август 2007, Windows XP;

Итоговый результат определяется средним значением.

Вес показателя - 1

Как именно здесь будет браться среднее значение? Что именно будет браться от VB? Наличие/отсутствие награды не является критерием общего уровня детекта вредоносных программ. И даже если брать проценты, то VB не показывает общий уровень детекта. Так, тест на весьма ограниченной узкой выборке. Что скажете?

[vaber 350]

Предлагаю проактив, что будет учитываться, переименовать что-то в роде "эвристический анализ".

Ну а за тест по пакерам - вес показателя уменьшить - 0,5, например.

[Александр Шабанов 120]

с какого перепугу? то что клименти фолсы смотрит в тесте на эвристики это его личная проблема

но фолсы-то не заслуга только эвристиков, сигнатурных фолсов тоже пруд пруди. собственно и у клименти фолсы считает все и сигнатурные и евристиком

По сути согласен, тогда предлагаю за проактивку вес - 1

Но как привязать ложные срабатывания, ведь это побочный эффект и на вес - 1 явно не тянет.

Как именно здесь будет браться среднее значение? Что именно будет браться от VB? Наличие/отсутствие награды не является критерием общего уровня детекта вредоносных программ. И даже если брать проценты, то VB не показывает общий уровень детекта. Так, тест на весьма ограниченной узкой выборке. Что скажете?

Предполагаю брать среднее арифметическое, это справедливо для непересекающихся коллекций, понятно что это не факт что так есть, но проверить это не представляется возможным.

Насчет VB я предполагал брать проценты, они конечно же намного отличаются от тестов Маркса и Клименти.

Но игнорировать этот тест, я считаю все таки и нельзя, и если учесть что все продукты в равных условиях, то на итоговую оценку по общему детекту он сильно не повлияет (причем VB участвует лишь в формировании одного показателя).

Предлагаю проактив, что будет учитываться, переименовать что-то в роде "эвристический анализ".

Ну а за тест по пакерам - вес показателя уменьшить - 0,5, например.

Почему Вы считаете, что лучше переименовать? Я принципиально не возражаю, но такое название брал исходя из названий участвующих в наборе тестов, и поэтому пользователю будет более понятно именно такая ассоциация.

По пакерам согласен, но какой вес будет наиболее объективным? Почему именно 0,5 ?

[vaber 350]

Почему Вы считаете, что лучше переименовать? Я принципиально не возражаю, но такое название брал исходя из названий участвующих в наборе тестов, и поэтому пользователю будет более понятно именно такая ассоциация.

По пакерам согласен, но какой вес будет наиболее объективным? Почему именно 0,5 ?

По тому как название не соответствует содержимому тестов. Проактив - широкое понятие, там же, в тестах, тестировалась лишь одна компонента - эвристический анализ. Приведу как наиболее известный пример - антивирус Касперского - в нем есть помимо эвристика (эмулятор) и поведенческий анализ и мониторинг системных событий. Это тоже проактив. Но я не настаиваю на переименовании .

[dot_sent 140]

Насчет VB я предполагал брать проценты, они конечно же намного отличаются от тестов Маркса и Клименти.

Но игнорировать этот тест, я считаю все таки и нельзя, и если учесть что все продукты в равных условиях, то на итоговую оценку по общему детекту он сильно не повлияет (причем VB участвует лишь в формировании одного показателя).

Существенно не повлияет на взаимное расположение продуктов в итоговой таблице. Но зато повлияет на их итоговый рейтинг относительно идеала - AFAIR, у VB почти все процентные показатели близки к 90-95%. Тут уж надо определиться с тем, что нужно от этого интегрального показателя - средний рейтинг продуктов по существующим тестам или средний рейтинг по реальным качествам продуктов (ну, хотя бы приближение к оному). Если учитывать VB - будет первое, если нет - второе.

Все вышесказанное - ИМХО, естественно