Сравнение антивирусов. - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Николай Терещенко

Сравнение антивирусов.

Recommended Posts

Николай Терещенко

Итак. Давайте попробуем организовать независимое и адекватное сравнение антивирусов.

Первыми нашими подопытными будут НОД и Касперский (наболевшая тема), но до этого еще далеко.

Первоначально надо обрисовать по каким параметрам сравнивать будем. И методику сравнения по каждому параметру.

После того, как параметры и методика будет утверждена, тогда и приступим к тестированию.

После окончания тестирования (до опубликования), его результаты будут отправлены в обе компании, для высказывания своего виденья на наши результаты. Далее все замечания будут проанализированы и учтены. Если замечания от вендоров будут на результаты оппонента, тогда эти замечания будут дополнительно направлены в противоположную компанию для пояснений.

Естественно будут приниматься только конструктивные замечания или пояснения от вендоров.

После учета всех замечаний и ответов, будет опубликован сам тест и его результаты. При этом результатами теста не будет категоричное заявления типа "Антивирус А лучше антивируса Б", а будет доскональный анализ и возможные рекомендации.

Я предполагаю это будет наиболее правильный подход.

Итак предложения по параметрам и методам сравнения/тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

A.

А если серьезно? 8)

Просто указанный вами подход несет собой слишком много неопределенностей. И в итоге результат у нас будет вероятностный - нам как минимум придется рассчитать вероятность попадания вирусов вообще на компьютер, а затем рассчитать вероятность попадания вирусов недетектируемых Касперским и НОДом на компьютер.

Исследование конечно интересное, только его результат врядли обычному пользователю, не знающего основы теории вероятности, скажет, что-либо конкретное.

8)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

так как основной спор ведётся, вокруг скорости и качеству детекта обоих вендоров!!

надо делать сравнение

скорость vs скорость

эвристика vs проактивка

паковка vs паковка

как это соорудить я честно несовсем представляю, но мне кажется это лучший вариант..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Каким не должно быть сравнение я знаю точно - http://www.cnews.ru/reviews/free/security2...cles/antivirus/ (+ и - кажись ставились наугад :wink: ).

По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Как скорость проверить еще можно предположить, хотя тоже все эти проверки вызывают сомнения.

Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
1. Берем комп с виндой без патчей, выходим в инет и активно (в стиле хоум юзер) пользуем пару дней. Затем проверяем Нодом. Потом добиваем оставшееся Каспером. :)

2. Все тоже самое, только на комп ставим еще НОД и работаем. Затем проверяем Касперским.

3. Все тоже самое только сначала ставим Каспера и работаем с ним, а потом проверяем Нодом.

Модификация №1. Проверяем и тем и другим и сравниваем результаты. Если хочется в реальном времени, то надо два компа и ходить по одним и тем же сайтам.

Очень жизненный тест IMHO

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Самозащита продукта от выведения его из строя.

Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

Быстрота обновления баз (от посылки сампля до детекта)

Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

Общий функционал - проверка каких протоколов (способов проникновения) осуществляется и как.

глубина проверки - пакованные вири+архивированные.

Возможности по спасению систему если нормальный запуск невозможен а рядом нету другого ПиСи.

Добавлено спустя 1 минуту 48 секунд:

>По поводу проверки упаковщиков, если включать в сравнение - то результаты можно взять из нашего теста (августовского, а лучше того, который будет в ноябре).

Не катит.

1. Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

2. Надо расширить количество пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
grovana
Но как проверить, а еще хуже - сравнить эвристические анализаторы, я вообще ума не прилажу. Есть варианты?

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Нужен тест именно распаковки и детекта сигнатурами а не эвристиком ИМХО.

Это еще почему? Потому что в Каспере нет эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Phoenix
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман.

Угу. А также обезврежен. Что возможно при наличии анпакеров и невозможно с помощью эвристики... (ИМХО)

BackUp/Restore рулит. Сегодня все лечение сводится к удалению нового и восстановлению удаленного (измененного). Т.е. к ф-ции резервного копирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Phoenix

На автомате? Если нет, то рулит как раз лечение...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
Нет - просто надо разделить тест Эвристика и анпакеров Ж)

Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Вот с этим точно согласен на все 100%.

По поводу обезвреживания - в нынешнем мире никто уже (практически) не пытается заражать файлы и т.п. В связи с чем лечение в 99,9% ненужно, т.к. лечить нечего...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Мне как пользователю все равно как будет продетекчен вредонос. Главное, что бы был пойман. И без фолсов. Мы, пользователи, этого не любим.

Полностью согласен, пользователю важен результат.

Коллеги, не надо сильно мудрить с тестами, делайте такие, которые были бы полезны и интересны пользователям, а не экспертам (они и так все знают друг о друге)

Конечно было бы интересно посмотреть каким образом был задетектирован вредоносный объект. Вместе с тем полагаю, что на завершающем этапе тестирования должен быть подведен общий итог, указывающий результативность работы антивирусов в целом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

По пакерам понятно, что нужно отделять эвристику это уже понятно. В общем-то таким и будет ноябрьский тест.

Есть. В НОД-е можно выключить сканирование по сигнатурам. Вообще. Дело стоит за каспером.

Поясните, не понял. Как сравнение эвристики-то будет проходить?

1. попытатся убить процессы и остановить сервисы в разных комбинациях. затем попробовать запустить ейкар. Если запустица - АВ плохой )

1.1 тоже самое но попытатся удалить / переименовать (если не удаляются) / повредить файлы анти-вируса, удалить его драйвера, удалить записи в реестре отвечающие за его запуск и.т.д

2.

По примеру Spambota (amr32.dll) - прописывается в систему и постоянно себя восстанавливает -> если после лечения и перезагрузки вирус на месте - лечение неудалось

По NewDotNet - прописывает себя как LSP фильтр - если после удаления и перезагрузки пропал интернет (перестали грузится странички) - лечение некоректно.

3. берем вирус (пишем тестовый) который определяется эвристиком нода и/или проактивкой каспера. затем добавляем в него что-либо чтобы эвристик / просктивка на него не сработала (либо не заблокировала).

Впрочем это можно не тестировать - могу сказать что на обхож эвристика нода нужно 2 строки кода(остановка эмуляции) а обход проактивки как таковой - только есил нажать на кнопку пропустить (большенсво методов уже присекаются но не все) и кода это займет больше чем обход либого эмулятора Ж)

Добавлено спустя 2 минуты 20 секунд:

заражают еще как Ж)

Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Коллега, TiX, вам бы в VX форумах писать ;-) Ваши предлоежния занятны, но практического смысла, увы, не имеют. Любой АВ можно выгрузить из системы, любой эвристик можно обмануть -- это аксиома, которая не требует доказательной базы.

Вопрос не в том можно или нет а в том насколько это сложно Ж)

Кому как. Зная как устроен тот или иной АВ, обмануть его не сложно.

В свое время разработчиками был придуман 100% способ обхода AVP (KAV) Office Guard (проактивка для VBA), но аверы до него не додумались. Так как этот результат засчитывать как "Сложно" или как "не сложно"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мальцев Тимофей

(осторожно)

Сдается мне, что "остальные". :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn
TiX

Хорошие тесты. В двух словах опишите, методику тестирования по:

1. Самозащита продукта от выведения его из строя.

2. Лечение системы от сложной заразы - NewDotNet / Spambot (amr32.. dll)

3. Простота обхода эмулятора-эвристика, сигнатур, проактивной защиты.

В особенности 3-го пункта, могу вас уверить, написать вирус специально под любой антивирус можно без проблем. Смысла в тестировании пункта 3 не особо вижу, тем более на мой взгляд тут будет субъективная оценка ...

Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.Проверить можно так:Инсталлировать АВ-ы,апдейтовать и "заморозить" в смысле апдейтов на этом.Проверять новопоявляющимися вирусами,желательно,как грамотный пользователь.То есть,"по умолчанию" везде пересмотреть,чем больше ловится.И каждый месяц,или даже неделю (или день),добавлять,сколько из новых вирусов кем (не-)ловятся.На неловящих пробовать запускать вирусы,может,другим поймает.Если АВ неуверен,кого поймал,что для новых вирусов неудивительно,но как потенциально опасное действие предупреждает,то лучше писáть в отдельную колонку для различения причины,почему поймал.Но нужно нейтральный поток новых действительно вирусов,а где взять?Именно те и в том порядке,как они вносятся,а то нет гарантии,что ничем неловимые присылаться АВ-фирмами будут.Другого пути вряд ли есть,если такой тест проводить и не самим писáть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TiX

>Мы просто повторим известные тесты других.Немалую ценность представляет пункт по защите от действительно неизвестных угроз.

Есть идеи лучше? Все уже кемто и както было проверенно Ж) Вопрос насколько коррекно и качественно.

Только если тестить действительно проактивный детект.

Кста по слухам новый эвристик-эмулятор появится у каспов через 1-2 месяца.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

Нету.Но и для "привычных" тестов нужна коллекция и кто знает,что выйдет в конце.Если иметь поступление новых вирусов,то можно АВ-сы,подождав,на "детект неизвестных" по факту проверить,кто дольше/выше устоит без апдейтов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×