Сравнение антивирусов.

[Николай Терещенко 0]

Итак. Давайте попробуем организовать независимое и адекватное сравнение антивирусов.

Первыми нашими подопытными будут НОД и Касперский (наболевшая тема), но до этого еще далеко.

Первоначально надо обрисовать по каким параметрам сравнивать будем. И методику сравнения по каждому параметру.

После того, как параметры и методика будет утверждена, тогда и приступим к тестированию.

После окончания тестирования (до опубликования), его результаты будут отправлены в обе компании, для высказывания своего виденья на наши результаты. Далее все замечания будут проанализированы и учтены. Если замечания от вендоров будут на результаты оппонента, тогда эти замечания будут дополнительно направлены в противоположную компанию для пояснений.

Естественно будут приниматься только конструктивные замечания или пояснения от вендоров.

После учета всех замечаний и ответов, будет опубликован сам тест и его результаты. При этом результатами теста не будет категоричное заявления типа "Антивирус А лучше антивируса Б", а будет доскональный анализ и возможные рекомендации.

Я предполагаю это будет наиболее правильный подход.

Итак предложения по параметрам и методам сравнения/тестирования.

[A. 876]

1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером.

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

[Николай Терещенко 0]

A.

А если серьезно? 8)

Просто указанный вами подход несет собой слишком много неопределенностей. И в итоге результат у нас будет вероятностный - нам как минимум придется рассчитать вероятность попадания вирусов вообще на компьютер, а затем рассчитать вероятность попадания вирусов недетектируемых Касперским и НОДом на компьютер.

Исследование конечно интересное, только его результат врядли обычному пользователю, не знающего основы теории вероятности, скажет, что-либо конкретное.

8)

[Ego1st 95]

так как основной спор ведётся, вокруг скорости и качеству детекта обоих вендоров!!

надо делать сравнение

скорость vs скорость

эвристика vs проактивка

паковка vs паковка

как это соорудить я честно несовсем представляю, но мне кажется это лучший вариант..

[Николай Терещенко 0]

Каким не должно быть сравнение я знаю точно - http://www.cnews.ru/reviews/free/security2...cles/antivirus/ (+ и - кажись ставились наугад :wink: ).

По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Как скорость проверить еще можно предположить, хотя тоже все эти проверки вызывают сомнения.

Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

[_Stout 131]

1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером.

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Модификация №1. Проверяем и тем и другим и сравниваем результаты. Если хочется в реальном времени, то надо два компа и ходить по одним и тем же сайтам.

Очень жизненный тест IMHO

[TiX 0]

Самозащита продукта от выведения его из строя.

Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

Быстрота обновления баз (от посылки сампля до детекта)

Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

Общий функционал - проверка каких протоколов (способов проникновения) осуществляется и как.

глубина проверки - пакованные вири+архивированные.

Возможности по спасению систему если нормальный запуск невозможен а рядом нету другого ПиСи.

Добавлено спустя 1 минуту 48 секунд:

>По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Не катит.

1. Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

2. Надо расширить количество пакеров.

[grovana 0]

Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

Это еще почему? Потому что в Каспере нет эвристики?

[TiX 0]

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

[Николай Терещенко 0]

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

[_Stout 131]

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

[Phoenix 0]

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

[_Stout 131]

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

BackUp/Restore рулит. Сегодня все лечение сводится к удалению нового и восстановлению удаленного (измененного). Т.е. к ф-ции резервного копирования.

[Phoenix 0]

На автомате? Если нет, то рулит как раз лечение...

[Николай Терещенко 0]

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Вот с этим точно согласен на все 100%.

По поводу обезвреживания - в нынешнем мире никто уже (практически) не пытается заражать файлы и т.п. В связи с чем лечение в 99,9% ненужно, т.к. лечить нечего...

[TiX 0]

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

[_Stout 131]

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

[Mr. Justice 771]

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Полностью согласен, пользователю важен результат.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Конечно было бы интересно посмотреть каким образом был задетектирован вредоносный объект. Вместе с тем полагаю, что на завершающем этапе тестирования должен быть подведен общий итог, указывающий результативность работы антивирусов в целом.

[TiX 0]

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

[_Stout 131]

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Кому как. Зная как устроен тот или иной АВ, обмануть его не сложно.

В свое время разработчиками был придуман 100% способ обхода AVP (KAV) Office Guard (проактивка для VBA), но аверы до него не додумались. Так как этот результат засчитывать как "Сложно" или как "не сложно"?

[A. 876]

аверы - это кто ?

[Мальцев Тимофей 74]

(осторожно)

Сдается мне, что "остальные".

[Inkogn 0]

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.Проверить можно так:Инсталлировать АВ-ы,апдейтовать и "заморозить" в смысле апдейтов на этом.Проверять новопоявляющимися вирусами,желательно,как грамотный пользователь.То есть,"по умолчанию" везде пересмотреть,чем больше ловится.И каждый месяц,или даже неделю (или день),добавлять,сколько из новых вирусов кем (не-)ловятся.На неловящих пробовать запускать вирусы,может,другим поймает.Если АВ неуверен,кого поймал,что для новых вирусов неудивительно,но как потенциально опасное действие предупреждает,то лучше писáть в отдельную колонку для различения причины,почему поймал.Но нужно нейтральный поток новых действительно вирусов,а где взять?Именно те и в том порядке,как они вносятся,а то нет гарантии,что ничем неловимые присылаться АВ-фирмами будут.Другого пути вряд ли есть,если такой тест проводить и не самим писáть.

[TiX 0]

>Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.

Есть идеи лучше? Все уже кемто и както было проверенно Ж) Вопрос насколько коррекно и качественно.

Только если тестить действительно проактивный детект.

Кста по слухам новый эвристик-эмулятор появится у каспов через 1-2 месяца.

[Inkogn 0]

Нету.Но и для "привычных" тестов нужна коллекция и кто знает,что выйдет в конце.Если иметь поступление новых вирусов,то можно АВ-сы,подождав,на "детект неизвестных" по факту проверить,кто дольше/выше устоит без апдейтов.