Сравнительный анализ антивирусного ПО

[Umnik 997]

А ретроспективный анализ? Он не будет учитываться?

[Сергей Ильин 1538]

А ретроспективный анализ? Он не будет учитываться?

Будет, это пункт 1.

[Александр Шабанов 120]

Поэтому предлагаю переименовать "Эффективность эвристического анализатора" в "Эффективность защиты от новых угроз", куда включить скорость реакции с таким же баллом как тесты эвристики.

Да, такая идея мне нравиться, предлагаю теперь следующий обобщенный вариант:

1) Эффективность обнаружения известных угроз

а) Общее обнаружение - 1

б) Поддержка упаковщиков - 0.25

в) Ложные срабатывания - 0.25

2) Эффективность обнаружения новых угроз

а) Эффективность эвристического анализатора - 0.5

б) Скорость реакции вирусных лабораторий - 0.5

3) Эффективность лечения активного заражения

а) Общее лечение - 0.5

б) Обнаружение и лечение скрытых угроз(руткитов) - 0.5

4) Эффективность самозащиты - 1

Предлагаю обсудить узкое место:

а) Общее лечение - 0.5

б) Обнаружение и лечение скрытых угроз(руткитов) - 0.5

Является ли данное соотношение логически верным? Интересует мнение экспертов, особенно vaber-a

По остальным пунктам всех участников дискуссии призываю выразить своё согласие, либо высказать замечания.

[Kokunov Aleksey 20]

я бы добавил еще все таки:

5. Общую нагрузку на систему

а) "Скорость проверки по требованию" - 0,25 (эти тесте постоянно вроде делает клименти)

б) "Влияние на скорость загрузки приложений" - 0,25 (этот тест я тоже видел, при том недавно)

в) "влияние АВ на серфинг и скачку" - 0,25 (такое исследование надо провести)

[Александр Шабанов 120]

я бы добавил еще все таки:

5. Общую нагрузку на систему

а) "Скорость проверки по требованию" - 0,25 (эти тесте постоянно вроде делает клименти)

б) "Влияние на скорость загрузки приложений" - 0,25 (этот тест я тоже видел, при том недавно)

в) "влияние АВ на серфинг и скачку" - 0,25 (такое исследование надо провести)

Алексей, влияние нагрузки мы обсуждали на предыдущих страницах, решено это рассматривать в качестве приложения, а не в качестве показателя, участвующего в формировании оценки, так как на качество защиты он не влияет, да и тестов действительно объективных пока не было.

[Сергей Ильин 1538]

Является ли данное соотношение логически верным?

Мне такой расклад видится корректным вполне.

в) Ложные срабатывания - 0.25

Бывали случаи, когда из-за ложняков компа убивались сильнее, чем от любого вирья. ИМХО стоит вес поднять до 0.5, параметр важный.

3) Эффективность лечения активного заражения

Здесь еще будет наш абсолютно новый тест на обнаружение кейлоггеров :-)

1) Эффективность обнаружения известных угроз

В этот пункт мы забыли добавить качество детектирования полиморфных вирусов, такой отдельный тест уже в работе у нас.

2) Эффективность обнаружения новых угроз

А сюда еще добавится тест поведенческих блокираторов (планируемый тест HIPS). :-)

я бы добавил еще все таки:

5. Общую нагрузку на систему

Как только у нас будут вменяемые открытые данные по таким параметрам, то такой пункт добавим в общую систему весов. Есть найдется инициативная группа, то предлагаю выделить отдельную тему и заняться тестированием нагрузки на систему.

[Олег777 85]

Мне кажется, что нагрузку на систему следует тестировать в нескольких режимах:

1. Постоянная защита на минимальных настройках

2. Постоянная защита на средних (рекомендуемых) настройках

3. Постоянная защита на максимальных настройках

+ полная проверка компьютера при всех вышеперечисленных настройках

Методика теста проста - поставить в привод диск и открыть его файловым менеджером - в любом случае файловый антивирус должен будет создать нагрузку...

_______________________________________________________________________

Вес ложных срабатываний поднять до 0,5 стоит - действительно важный параметр.

[Kokunov Aleksey 20]

Есть найдется инициативная группа, то предлагаю выделить отдельную тему и заняться тестированием нагрузки на систему.

есть виртуальная машина - слепок с реальной системы, весом 16 гигов, система работала в течении 1,5 лет...

можно будет попробовать...

[Виталий Я. 859]

Уважаемые участники не думали построить (для наглядности) 2 3-мерных сетки координат, в одной из которых по осям будут отложены соотв-но 1) технологически-ориентированные, 2) пользовательско-ориентированные преимущества продуктов? (Это чтобы 5-6-мерным пространством чайников не пугать)

Удаленность от центра координат - "центра зла" (сумма модулей вектора в обоих пространствах) и будет в некотором роде мерой качества данного АВ-продукта.

Пространство "продвинутых" координат - очевидны только для "продвинутых" пользователей:

2) Эффективность обнаружения новых угроз

3) Эффективность лечения активного заражения

4) Эффективность самозащиты

Пространство "приземленных" координат - очевидны как критерии качества для среднего "юзера":

1) Эффективность обнаружения известных угроз

5) Общая нагрузка на систему

6) все-таки интересен и такой критерий, как user-friendliness (локализация интерфейса и техподдержка на русском).

[Сергей Ильин 1538]

Виталий, идея отличная, я даже уже похожий по смыслу график строил в тесте на эффективность работы эвристики.

Только это следующий этап. Сейчас мы придем к консенсусу по расчету значений по 1 оси, а затем примемся уже за субъективный критерии, такие как: скорость, интерфейс, настройки, назойливость и т.д.

[Александр Шабанов 120]

Дальнейшее обсуждение темы комплексного анализа переносится в форум группы AV Intergated Analysis.

Если у кого-то есть достойные идеи, замечания, пожелания подавайте заявки на вступление.

[Сергей Ильин 1538]

Дальнейшее обсуждение темы комплексного анализа переносится в форум группы AV Intergated Analysis.

А чем это продиктовано? Мы вроде уже все обсудили здесь. Ждем итогового расчета весов и соответсвенно интегрированных баллов по результатам всех тестов. Затягивание может только пойти во вред.

[А.Щеглов 6]

Коллеги, хочу остановиться на следующих двух важных моментах.

1. Вы "залезли" в очень "скользкую" область многокритериальной оптимизации. Как известно, назначение "весовых" коэффициентов - это подмена одной неопределенности другой. Если относиться к этой задаче профессионально, то при задании "веса" параметру необходимо еще учитывать "вес" (квалификацию) эксперта и т.д. Дело "темное"....

В свое время я предложил следующий способ сведения задачи к однокритериальной - на основе ранжирования по важности. Если без формул, то идея очень проста - упорядочиваем параметры по важности, например, самое важное - обнаружение неизвестных вирусов, затем, известных, затем, скорость контроля и т.д. Если антивирус А лучше, чем Б по самому важному параметру, то он априори не может быть хуже, чем Б, если А лучше по самому важному, но хуже по следующему, то А лучше, чем Б по совокупности параметров, если по более важному параметру он относительно выигрывает больше, чем проигрывает по следующему параметру и т.д. Используя данный подход, вы можете отсечь худшие варинты, остальные же образуют, так называемое, множество "нехудших решений", варианты из которого, на мой взгляд, не поддаются осмысленному сравнению.

возможен иной подход. В свое время я предложил векторную интерпретацию задачи многокрительной оптимизации (когда говорю предложил, подразумеваю, что эти методы опубликованы в научных журналах). Суть следующая - каким-либо способом получен идеальный вектор качества на множестве рассматриваемых параметров, лучшим признается тот вариант, вектор качества которого имеет максимальную длину и наилучшим образом совпадает с идеальным по направлению (имеет максимальную длину проекции на идеальный вектор). Задача эвристики в этом случае сводится к заданию идеального вектора - это те значения параметров, которые нам хотелось бы иметь (при понимании того, что одна техническая задача, как правило, решается за счет другой, поэтому идеальное качество по всем параметрам не обеспечить - возьмите величину базы сигнатур и скорость контроля - либо то, либо иное).

Вы же как то странно, без какого-либо обоснования, присваиваете "веса", затем спорите - о чем?

2. Честно говоря, вероятность обнаружения трояна, 0,9 не утешает. Защита либо есть, либо нет. Вероятность 0,9, на мой взгляд, означает, что нет, так уместны ли споры в принципе - не пора ли искать принципиально новые способы антивирусной защиты, а не обсуждать, на сколько один антивирус не защищает лучше, чем другой?

[andycaramba 0]

Здравсвуйте. Не знаю в ту ли ветку я пишу и вообще, не несу ли чушь , так что заранее извеняюсь. Просто наткнулся случайно на статью на www.rootkit.com про Антивирус Касперского. Я в данных вопросах являюсь новичком и мне просто хотелось бы узнать, что вы думаете по поводу этой статьи. Ибо сам использую именно этот антивирус и то, что я прочитал в статье меня не очень обрадовало. Пусть даже это только возможность завалить в BSOD, но там вроде упомянули, что он и руткиты в общем то пропускает неплохо. Может в новой версии есть улучшения по этому поводу, ибо там рассматривается версия 7.0.125?

[rubin-VInfo 10]

В 7.0.325 самозащита во многом доработана...

[Umnik 997]

Да и про 125 та статья уже недействительна. Давно.

[andycaramba 0]

Да, щас почитал описание последних Maintenance паков на сайте Касперского, действительно вроде устранили всё. Спасибо за помощь.