Перейти к содержанию
Николай Терещенко

Сравнение антивирусов.

Recommended Posts

Николай Терещенко

Итак. Давайте попробуем организовать независимое и адекватное сравнение антивирусов.

Первыми нашими подопытными будут НОД и Касперский (наболевшая тема), но до этого еще далеко.

Первоначально надо обрисовать по каким параметрам сравнивать будем. И методику сравнения по каждому параметру.

После того, как параметры и методика будет утверждена, тогда и приступим к тестированию.

После окончания тестирования (до опубликования), его результаты будут отправлены в обе компании, для высказывания своего виденья на наши результаты. Далее все замечания будут проанализированы и учтены. Если замечания от вендоров будут на результаты оппонента, тогда эти замечания будут дополнительно направлены в противоположную компанию для пояснений.

Естественно будут приниматься только конструктивные замечания или пояснения от вендоров.

После учета всех замечаний и ответов, будет опубликован сам тест и его результаты. При этом результатами теста не будет категоричное заявления типа "Антивирус А лучше антивируса Б", а будет доскональный анализ и возможные рекомендации.

Я предполагаю это будет наиболее правильный подход.

Итак предложения по параметрам и методам сравнения/тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

A.

А если серьезно? 8)

Просто указанный вами подход несет собой слишком много неопределенностей. И в итоге результат у нас будет вероятностный - нам как минимум придется рассчитать вероятность попадания вирусов вообще на компьютер, а затем рассчитать вероятность попадания вирусов недетектируемых Касперским и НОДом на компьютер.

Исследование конечно интересное, только его результат врядли обычному пользователю, не знающего основы теории вероятности, скажет, что-либо конкретное.

8)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

так как основной спор ведётся, вокруг скорости и качеству детекта обоих вендоров!!

надо делать сравнение

скорость vs скорость

эвристика vs проактивка

паковка vs паковка

как это соорудить я честно несовсем представляю, но мне кажется это лучший вариант..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Каким не должно быть сравнение я знаю точно - http://www.cnews.ru/reviews/free/security2...cles/antivirus/ (+ и - кажись ставились наугад :wink: ).

По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Как скорость проверить еще можно предположить, хотя тоже все эти проверки вызывают сомнения.

Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Модификация №1. Проверяем и тем и другим и сравниваем результаты. Если хочется в реальном времени, то надо два компа и ходить по одним и тем же сайтам.

Очень жизненный тест IMHO

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Самозащита продукта от выведения его из строя.

Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

Быстрота обновления баз (от посылки сампля до детекта)

Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

Общий функционал - проверка каких протоколов (способов проникновения) осуществляется и как.

глубина проверки - пакованные вири+архивированные.

Возможности по спасению систему если нормальный запуск невозможен а рядом нету другого ПиСи.

Добавлено спустя 1 минуту 48 секунд:

>По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Не катит.

1. Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

2. Надо расширить количество пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
grovana
Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

Это еще почему? Потому что в Каспере нет эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Phoenix
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

BackUp/Restore рулит. Сегодня все лечение сводится к удалению нового и восстановлению удаленного (измененного). Т.е. к ф-ции резервного копирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Phoenix

На автомате? Если нет, то рулит как раз лечение...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Вот с этим точно согласен на все 100%.

По поводу обезвреживания - в нынешнем мире никто уже (практически) не пытается заражать файлы и т.п. В связи с чем лечение в 99,9% ненужно, т.к. лечить нечего...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Полностью согласен, пользователю важен результат.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Конечно было бы интересно посмотреть каким образом был задетектирован вредоносный объект. Вместе с тем полагаю, что на завершающем этапе тестирования должен быть подведен общий итог, указывающий результативность работы антивирусов в целом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Кому как. Зная как устроен тот или иной АВ, обмануть его не сложно.

В свое время разработчиками был придуман 100% способ обхода AVP (KAV) Office Guard (проактивка для VBA), но аверы до него не додумались. Так как этот результат засчитывать как "Сложно" или как "не сложно"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

(осторожно)

Сдается мне, что "остальные". :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.Проверить можно так:Инсталлировать АВ-ы,апдейтовать и "заморозить" в смысле апдейтов на этом.Проверять новопоявляющимися вирусами,желательно,как грамотный пользователь.То есть,"по умолчанию" везде пересмотреть,чем больше ловится.И каждый месяц,или даже неделю (или день),добавлять,сколько из новых вирусов кем (не-)ловятся.На неловящих пробовать запускать вирусы,может,другим поймает.Если АВ неуверен,кого поймал,что для новых вирусов неудивительно,но как потенциально опасное действие предупреждает,то лучше писáть в отдельную колонку для различения причины,почему поймал.Но нужно нейтральный поток новых действительно вирусов,а где взять?Именно те и в том порядке,как они вносятся,а то нет гарантии,что ничем неловимые присылаться АВ-фирмами будут.Другого пути вряд ли есть,если такой тест проводить и не самим писáть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

>Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.

Есть идеи лучше? Все уже кемто и както было проверенно Ж) Вопрос насколько коррекно и качественно.

Только если тестить действительно проактивный детект.

Кста по слухам новый эвристик-эмулятор появится у каспов через 1-2 месяца.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

Нету.Но и для "привычных" тестов нужна коллекция и кто знает,что выйдет в конце.Если иметь поступление новых вирусов,то можно АВ-сы,подождав,на "детект неизвестных" по факту проверить,кто дольше/выше устоит без апдейтов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • PR55.RP55
      1) По поводу команды: Сбросить атрибуты для все файлов/каталогов в... Это не работает, если не заданы: Группы или пользователи. т.е. нужно проверить не пуст ли список... Если пуст:  прописать пользователя. И только после этого можно сбросить атрибуты... 2) При проверке ЭЦП по F6 ... Если неполадки с сетевым оборудованием, или службами отвечающими за доступ к сети... uvS видит: Сеть есть... и начинает проверять файлы. А по сути сети нет. т.е. здесь нужен таймер.: Если в течении определённого времени нет результата - то проверять ЭЦП локально ( с соответствующей записью в Лог )   Не ждать, как сейчас 100 500 часов. 3)  Проверка занимает излишне много времени в ситуации: Ошибка  [Не удается построить цепочку сертификатов для доверенного корневого центра. ]
      Ошибка  [Цепочка сертификатов обработана, но обработка прервана на корневом сертификате, у которого отсутствует отношение доверия с поставщиком доверия. ] uVS натыкается на такой файл и думает... думает...
    • PR55.RP55
      1) Если оператор применил фильтр  [V]  Известные. То при применении команды: F6   проверять только оставшиеся в списке файлы. Это на порядок ускорит проверку.  Нужно проверить всё ? Сними чек-бокс.  
    • PR55.RP55
      В Инфо. указывать не только время создания\изменения файла но и время создания... Пример:  Система Установлена 2018  > Каталог создан в 2020, а файл в каталоге  2021  
    • santy
      как только заработает функция "выполнить запрос по критерию" - все отфильтрованные объекты будут на виду у оператора, и скорее всего, помещены в отдельную категорию. Кстати, всех участников данного форума (помимо проходящих мимо спамеров) поздравляю с Новым 2021 годом!
    • PR55.RP55
      1) Добавить в settings.ini  настройку: "Выделять все неизвестные ЭЦП" Таким образом все ЭЦП которых нет в базе:  wdsl будут на виду. Это  позволит пополнять базу wdsl и сразу акцентировать внимание оператора. 2) Добавить в settings.ini  настройку: Все файлы с неизвестной ЭЦП  помечать, как подозрительные. Или создать отдельную категорию: "Неизвестные ЭЦП" 3) В Инфо. файла помещать информацию типа: Действительна, подписано CAVANAGH NETS LIMITED Найдено файлов: 1 wdsl   [ - ] --------------- Действительна, подписано Mozilla Corporation Найдено файлов: 80 wdsl   [ + ]  
×