Николай Терещенко

Сравнение антивирусов.

В этой теме 25 сообщений

Итак. Давайте попробуем организовать независимое и адекватное сравнение антивирусов.

Первыми нашими подопытными будут НОД и Касперский (наболевшая тема), но до этого еще далеко.

Первоначально надо обрисовать по каким параметрам сравнивать будем. И методику сравнения по каждому параметру.

После того, как параметры и методика будет утверждена, тогда и приступим к тестированию.

После окончания тестирования (до опубликования), его результаты будут отправлены в обе компании, для высказывания своего виденья на наши результаты. Далее все замечания будут проанализированы и учтены. Если замечания от вендоров будут на результаты оппонента, тогда эти замечания будут дополнительно направлены в противоположную компанию для пояснений.

Естественно будут приниматься только конструктивные замечания или пояснения от вендоров.

После учета всех замечаний и ответов, будет опубликован сам тест и его результаты. При этом результатами теста не будет категоричное заявления типа "Антивирус А лучше антивируса Б", а будет доскональный анализ и возможные рекомендации.

Я предполагаю это будет наиболее правильный подход.

Итак предложения по параметрам и методам сравнения/тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

A.

А если серьезно? 8)

Просто указанный вами подход несет собой слишком много неопределенностей. И в итоге результат у нас будет вероятностный - нам как минимум придется рассчитать вероятность попадания вирусов вообще на компьютер, а затем рассчитать вероятность попадания вирусов недетектируемых Касперским и НОДом на компьютер.

Исследование конечно интересное, только его результат врядли обычному пользователю, не знающего основы теории вероятности, скажет, что-либо конкретное.

8)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

так как основной спор ведётся, вокруг скорости и качеству детекта обоих вендоров!!

надо делать сравнение

скорость vs скорость

эвристика vs проактивка

паковка vs паковка

как это соорудить я честно несовсем представляю, но мне кажется это лучший вариант..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Каким не должно быть сравнение я знаю точно - http://www.cnews.ru/reviews/free/security2...cles/antivirus/ (+ и - кажись ставились наугад :wink: ).

По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Как скорость проверить еще можно предположить, хотя тоже все эти проверки вызывают сомнения.

Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Модификация №1. Проверяем и тем и другим и сравниваем результаты. Если хочется в реальном времени, то надо два компа и ходить по одним и тем же сайтам.

Очень жизненный тест IMHO

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Самозащита продукта от выведения его из строя.

Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

Быстрота обновления баз (от посылки сампля до детекта)

Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

Общий функционал - проверка каких протоколов (способов проникновения) осуществляется и как.

глубина проверки - пакованные вири+архивированные.

Возможности по спасению систему если нормальный запуск невозможен а рядом нету другого ПиСи.

Добавлено спустя 1 минуту 48 секунд:

>По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Не катит.

1. Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

2. Надо расширить количество пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

Это еще почему? Потому что в Каспере нет эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

BackUp/Restore рулит. Сегодня все лечение сводится к удалению нового и восстановлению удаленного (измененного). Т.е. к ф-ции резервного копирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

На автомате? Если нет, то рулит как раз лечение...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Вот с этим точно согласен на все 100%.

По поводу обезвреживания - в нынешнем мире никто уже (практически) не пытается заражать файлы и т.п. В связи с чем лечение в 99,9% ненужно, т.к. лечить нечего...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Полностью согласен, пользователю важен результат.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Конечно было бы интересно посмотреть каким образом был задетектирован вредоносный объект. Вместе с тем полагаю, что на завершающем этапе тестирования должен быть подведен общий итог, указывающий результативность работы антивирусов в целом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Кому как. Зная как устроен тот или иной АВ, обмануть его не сложно.

В свое время разработчиками был придуман 100% способ обхода AVP (KAV) Office Guard (проактивка для VBA), но аверы до него не додумались. Так как этот результат засчитывать как "Сложно" или как "не сложно"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

(осторожно)

Сдается мне, что "остальные". :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.Проверить можно так:Инсталлировать АВ-ы,апдейтовать и "заморозить" в смысле апдейтов на этом.Проверять новопоявляющимися вирусами,желательно,как грамотный пользователь.То есть,"по умолчанию" везде пересмотреть,чем больше ловится.И каждый месяц,или даже неделю (или день),добавлять,сколько из новых вирусов кем (не-)ловятся.На неловящих пробовать запускать вирусы,может,другим поймает.Если АВ неуверен,кого поймал,что для новых вирусов неудивительно,но как потенциально опасное действие предупреждает,то лучше писáть в отдельную колонку для различения причины,почему поймал.Но нужно нейтральный поток новых действительно вирусов,а где взять?Именно те и в том порядке,как они вносятся,а то нет гарантии,что ничем неловимые присылаться АВ-фирмами будут.Другого пути вряд ли есть,если такой тест проводить и не самим писáть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

>Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.

Есть идеи лучше? Все уже кемто и както было проверенно Ж) Вопрос насколько коррекно и качественно.

Только если тестить действительно проактивный детект.

Кста по слухам новый эвристик-эмулятор появится у каспов через 1-2 месяца.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нету.Но и для "привычных" тестов нужна коллекция и кто знает,что выйдет в конце.Если иметь поступление новых вирусов,то можно АВ-сы,подождав,на "детект неизвестных" по факту проверить,кто дольше/выше устоит без апдейтов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • DisaGlass
      Хочу чтобы на открытых парковках сделали навесы для защиты от осадков. Кто за?    Конструкции из алюминия и стекла на заказ
    • Сергей Ильин
      Каждую минуту создается несколько десятков новых образцов малвари. Чтобы она попало в облачную базу репутации нужно: 1. Чтобы антивирусу они попались (обеспечить охват близкого к 100% парка машин) 2. Чтобы антивирус опознал их как вредосносные сразу.   п 1 нереален сразу. Поэтому шансы сильно снижаются изначально. п 2 тоже работает с определенной вероятностью. В большинстве случаев должна накопиться статистика по обнаружению конкретного файла в сети, что он делал, как распространялся и тп. Если статистики нет - репутации тоже нет. Файл попадает "в серую зону". Кроме этого сейчас тренд идет к тому, что вредонос рассылается только один раз конкретному человеку. Больше его ни у кого не будет в природе. Поэтому какая уж тут репутация ...
    • ViktorFazz
      Я с вами согласен, это еще нужно уметь, а еще нужно найти хорошую работу в сети. Но мне кажется лучше ходить на нормальную работу, а в интернете просто иметь дополнительный заработок. Я работаю админом в гостинице, при этом еще увлекаюсь ставками на спорт, так я имею в месяц еще несколько тысяч практически и ничего. Смотрю прогнозы на спорт тут - http://betrating.ru/
    • olejah
      В одной из прошлых статей мы обсуждали, как настроить собственный honeypot, теперь же попытаемся рассмотреть, как злоумышленники пытаются обойти эти ловушки, какие трюки они используют при серфинге и как вы можете стать жертвой honeypot в сети. Наконец, мы поговорим о том, как системные администраторы предприятий справляются с поддельными точками доступа, размещенными в сети предприятия, целью которых является кража конфиденциальных данных. https://www.anti-malware.ru/analytics/Threats_Analysis/How-Hackers-Avoid-Honeypots
    • AM_Bot
      Леонид Ухлинов, вице-президент и исполнительный директор компании «Информзащита», поделился своим экспертным мнением с читателями Anti-Malware.ru и рассказал, как компания из-за небольшой оплошности может потерять миллионы долларов, чего ожидать бизнесу в эпоху цифровизации и кто в первую очередь станет мишенью для киберпреступников. Это интервью продолжает цикл публикаций «Индустрия в лицах». Читать далее