Перейти к содержанию
Николай Терещенко

Сравнение антивирусов.

Recommended Posts

Николай Терещенко

Итак. Давайте попробуем организовать независимое и адекватное сравнение антивирусов.

Первыми нашими подопытными будут НОД и Касперский (наболевшая тема), но до этого еще далеко.

Первоначально надо обрисовать по каким параметрам сравнивать будем. И методику сравнения по каждому параметру.

После того, как параметры и методика будет утверждена, тогда и приступим к тестированию.

После окончания тестирования (до опубликования), его результаты будут отправлены в обе компании, для высказывания своего виденья на наши результаты. Далее все замечания будут проанализированы и учтены. Если замечания от вендоров будут на результаты оппонента, тогда эти замечания будут дополнительно направлены в противоположную компанию для пояснений.

Естественно будут приниматься только конструктивные замечания или пояснения от вендоров.

После учета всех замечаний и ответов, будет опубликован сам тест и его результаты. При этом результатами теста не будет категоричное заявления типа "Антивирус А лучше антивируса Б", а будет доскональный анализ и возможные рекомендации.

Я предполагаю это будет наиболее правильный подход.

Итак предложения по параметрам и методам сравнения/тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

A.

А если серьезно? 8)

Просто указанный вами подход несет собой слишком много неопределенностей. И в итоге результат у нас будет вероятностный - нам как минимум придется рассчитать вероятность попадания вирусов вообще на компьютер, а затем рассчитать вероятность попадания вирусов недетектируемых Касперским и НОДом на компьютер.

Исследование конечно интересное, только его результат врядли обычному пользователю, не знающего основы теории вероятности, скажет, что-либо конкретное.

8)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

так как основной спор ведётся, вокруг скорости и качеству детекта обоих вендоров!!

надо делать сравнение

скорость vs скорость

эвристика vs проактивка

паковка vs паковка

как это соорудить я честно несовсем представляю, но мне кажется это лучший вариант..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Каким не должно быть сравнение я знаю точно - http://www.cnews.ru/reviews/free/security2...cles/antivirus/ (+ и - кажись ставились наугад :wink: ).

По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Как скорость проверить еще можно предположить, хотя тоже все эти проверки вызывают сомнения.

Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Модификация №1. Проверяем и тем и другим и сравниваем результаты. Если хочется в реальном времени, то надо два компа и ходить по одним и тем же сайтам.

Очень жизненный тест IMHO

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Самозащита продукта от выведения его из строя.

Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

Быстрота обновления баз (от посылки сампля до детекта)

Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

Общий функционал - проверка каких протоколов (способов проникновения) осуществляется и как.

глубина проверки - пакованные вири+архивированные.

Возможности по спасению систему если нормальный запуск невозможен а рядом нету другого ПиСи.

Добавлено спустя 1 минуту 48 секунд:

>По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Не катит.

1. Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

2. Надо расширить количество пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
grovana
Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

Это еще почему? Потому что в Каспере нет эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Phoenix
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

BackUp/Restore рулит. Сегодня все лечение сводится к удалению нового и восстановлению удаленного (измененного). Т.е. к ф-ции резервного копирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Phoenix

На автомате? Если нет, то рулит как раз лечение...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Вот с этим точно согласен на все 100%.

По поводу обезвреживания - в нынешнем мире никто уже (практически) не пытается заражать файлы и т.п. В связи с чем лечение в 99,9% ненужно, т.к. лечить нечего...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Полностью согласен, пользователю важен результат.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Конечно было бы интересно посмотреть каким образом был задетектирован вредоносный объект. Вместе с тем полагаю, что на завершающем этапе тестирования должен быть подведен общий итог, указывающий результативность работы антивирусов в целом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Кому как. Зная как устроен тот или иной АВ, обмануть его не сложно.

В свое время разработчиками был придуман 100% способ обхода AVP (KAV) Office Guard (проактивка для VBA), но аверы до него не додумались. Так как этот результат засчитывать как "Сложно" или как "не сложно"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

(осторожно)

Сдается мне, что "остальные". :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.Проверить можно так:Инсталлировать АВ-ы,апдейтовать и "заморозить" в смысле апдейтов на этом.Проверять новопоявляющимися вирусами,желательно,как грамотный пользователь.То есть,"по умолчанию" везде пересмотреть,чем больше ловится.И каждый месяц,или даже неделю (или день),добавлять,сколько из новых вирусов кем (не-)ловятся.На неловящих пробовать запускать вирусы,может,другим поймает.Если АВ неуверен,кого поймал,что для новых вирусов неудивительно,но как потенциально опасное действие предупреждает,то лучше писáть в отдельную колонку для различения причины,почему поймал.Но нужно нейтральный поток новых действительно вирусов,а где взять?Именно те и в том порядке,как они вносятся,а то нет гарантии,что ничем неловимые присылаться АВ-фирмами будут.Другого пути вряд ли есть,если такой тест проводить и не самим писáть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

>Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.

Есть идеи лучше? Все уже кемто и както было проверенно Ж) Вопрос насколько коррекно и качественно.

Только если тестить действительно проактивный детект.

Кста по слухам новый эвристик-эмулятор появится у каспов через 1-2 месяца.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

Нету.Но и для "привычных" тестов нужна коллекция и кто знает,что выйдет в конце.Если иметь поступление новых вирусов,то можно АВ-сы,подождав,на "детект неизвестных" по факту проверить,кто дольше/выше устоит без апдейтов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×