Сравнение эвристиков Нода и Касперского (бета)

[vaber 350]

Известно, что LK выпустила версию антивируса с новым эмулятором.

Решил сравнить 2 эвристика - антивируса Нод32 и Касперского.

Для сравнения была взята выборка в количестве 418 вирусов.

В ноде в сканере по требованию была включена эвристика, поддержка самораспаковывающихся архивов, пакеров и потенциально опасных программ. В Касперском настройки эмулятора на максимум.

В результате после проверки каталога, содержащего вирусы Нодом осталось 230 файлов. После проверки Касперским - 286

Итого:

Нод обнаружил 44,98% вирусов

Касперский обнаружил 31,58% вирусов

Отмечу, что данный результаты приблизительны, т.к. слишком мала выборка. Более точные результаты можно будет увидеть на майском тесте av-comparatives.org (Retrospective/ProActive Test). И все-таки можно судить о повышении качества эмулятора в Касперском. Тем более он находиться еще на стадии бета-тестирования.

Мне результаты понравились - это очень хороший результат для беты.

З.Ы. Базы у нода за 11 ноября 2006 года.

Несколько вирусов Касперский детектировал сигнатурно - они пропускались и не учитывались как обнаруженные.

log.zip

log.zip

[TiX 0]

Причем что интересно - у ЛК алерты чисто эвристика а у нода алерты на поведение характерное конкретному вирусу а не чисто эвристические.

Тоесть то что ловит эвристик КЛ не обязательно поймает НОД т.к возможно у него небудет набора правил для классификации зловреда.

[Mylord 0]

Учитывая то, что до недавнего времени KAV был обычным сигнатурным анализатором, появление в нем эвристики нельзя не приветствовать...

[Николай Головко 70]

До недавнего времени KAV был сигнатурным анализатором и поведенческим эвристиком.

[Сергей Ильин 1538]

Итого:

Нод обнаружил 44,98% вирусов

Касперский обнаружил 31,58% вирусов

Хорошие результаты, особенно у Nod32 - примерно каждый второй вирус ловится эвристиком.

vaber, напиши плиз для достоверности результатов про происхождение коллекции, это российский ITW?

[vaber 350]

Хорошие результаты, особенно у Nod32 - примерно каждый второй вирус ловится эвристиком.

vaber, напиши плиз для достоверности результатов про происхождение коллекции, это российский ITW?

Угу. Эвристик Нода является лучшим.

Что касается "коллекции" - то она собрана различными способами - на форумах, с компьютеров жертв, выделенные для тестов и т.д.

[santy 153]

...

Мне результаты понравились - это очень хороший результат для беты.

З.Ы. Базы у нода за 11 ноября 2006 года.

Несколько вирусов Касперский детектировал сигнатурно - они пропускались и не учитывались как обнаруженные.

А почему базы НОДа такие старые? Ведь эвристик у НОДа обновляется. На сегодня, скажем версия эвристика:

Информация антивирусной системы NOD32

Версия вирусной базы данных: 2165 (20070403)

Датирована: 3 апреля 2007 г.

Сборка вирусной базы данных: 9488

Информация о поддержке других частей сканера

Версия расширенного модуля эвристики: 1.056 (20070317)

Сборка расширенного модуля эвристики: 1149

[vaber 350]

А почему базы НОДа такие старые? Ведь эвристик у НОДа обновляется.

Такой инсталлятор на руках был. В принципе попробую скачать сейчас свежий Нод и проверить. Заодно увидим, насколько стал лучше за это время эвристик у Нода.

[santy 153]

А почему базы НОДа такие старые? Ведь эвристик у НОДа обновляется.

Такой инсталлятор на руках был. В принципе попробую скачать сейчас свежий Нод и проверить. Заодно увидим, насколько стал лучше за это время эвристик у Нода.

Инсталлятор новый скорее всего не нужен, если версия НОДа 2.70.25. Просто обновите базы на текущее число. Эвристик обновляется вместе с базами, хотя в последнюю неделю была видимо перепаковка базы. Обновление будет большим. 5-6Мб.

[vaber 350]

Инсталлятор новый скорее всего не нужен, если версия НОДа 2.70.25. Просто обновите базы на текущее число. Эвристик обновляется вместе с базами, хотя в последнюю неделю была видимо перепаковка базы. Обновление будет большим. 5-6Мб.

там у меня 2.51.30 была. И сейчас качаю триалку с eset.com

[santy 153]

Кстати, сегодняшний вариант Stration.XW обнаружен эвристиком НОД32. Но поскольку на вирустотал KAV четвертой версии, то неизвестно как сработал эристик новый KAV.

[vaber 350]

Провел проверку папки с теми же вирусами Нодом 2.70.32 с базами от 30 марта сего года.

Обнаружено эвристиком 71,53% вирусов (в каталоге осталось 119 файлов).

Результат - отличный. Правда большинство детекта - как модификация какого-то образца.

Хотелось бы провести проверку эвристика на нераспространенных образцах (то есть без почтовых червей, пинчей - того чего много модификаций). Результат уверен будет ниже.

Но такой результат впечатляет.

Добавлено спустя 1 минуту 31 секунду:

Кстати, сегодняшний вариант Stration.XW обнаружен эвристиком НОД32. Но поскольку на вирустотал KAV четвертой версии, то неизвестно как сработал эристик новый KAV.

Если есть желание - пришлите в личку. Я проверю Касперским с эмулем и сообщу результат.

Nod.rar

Nod.rar

[Сергей Ильин 1538]

Итого:

Нод обнаружил 71,53% (при обновленном эвристике)

Касперский обнаружил 31,58%

[santy 153]

Провел проверку папки с теми же вирусами Нодом 2.70.32 с базами от 30 марта сего года.

Обнаружено эвристиком 71,53% вирусов (в каталоге осталось 119 файлов).

Результат - отличный. Правда большинство детекта - как модификация какого-то образца.

Это как раз показатель несигнатурного метода детектирования. Посмотрите личное сообщение.

[vaber 350]

Посмотрите личное сообщение.

Спасибо. Проверил - Касперский эвристиком его не детектирует. Сигнатурно - Email-Worm.Win32.Warezov.ms

[Николай Головко 70]

Посмотрите личное сообщение.

Спасибо. Проверил - Касперский эвристиком его не детектирует. Сигнатурно - Email-Worm.Win32.Warezov.ms

Возможно, разработчики не стали делать эвристическое детектирование Warezov, потому что он и так ловится поведенческим анализатором.

[Иван 290]

...

Мне результаты понравились - это очень хороший результат для беты.

З.Ы. Базы у нода за 11 ноября 2006 года.

Несколько вирусов Касперский детектировал сигнатурно - они пропускались и не учитывались как обнаруженные.

А почему базы НОДа такие старые? Ведь эвристик у НОДа обновляется. На сегодня, скажем версия эвристика:

Информация антивирусной системы NOD32

Версия вирусной базы данных: 2165 (20070403)

Датирована: 3 апреля 2007 г.

Сборка вирусной базы данных: 9488

Информация о поддержке других частей сканера

Версия расширенного модуля эвристики: 1.056 (20070317)

Сборка расширенного модуля эвристики: 1149

Все это прекрасно, но тест эвристика проводится для того, чтобы понять насколько эвристик способен поймать новые для него угрозы.

Докрутка же эвристика и его постоянное обновление по своей сути ничем не отличается от обновления сигнатур,т.к.это обновление эвристика - это ответ на появление каких-то новых угроз. А условие теста - продукт не знает ничего о новых угрозах.

Т.е. что происходит.Появляется новый червяк. Нод32 его эвристиком не ловит. Нодовцы чешут репу, докручивают эвристик,выпускают его обновление, после чего продукт начинает червяка ловить. Но пока это обновление эвристика не выпущено - пользователь по-прежнему без защиты.

Таким образом Клименти делает абсолютно правильно, когда использует антиврусы у которых не обновлены базы(нет ни обновления сигнатур, ни обновления эвристиков). В результате тест показывает что реально способен поймать продукт новенького, пока его не напичкали обновлениями сигнатур и эвристков.

[Иван 290]

Кстати интересен также вопрос фолсов.

в последнем тесте VB100% Eset проиграл в частности из-за фолсов эвристика

[vaber 350]

Все это прекрасно, но тест эвристика проводится для того, чтобы понять насколько эвристик способен поймать новые для него угрозы.

Докрутка же эвристика и его постоянное обновление по своей сути ничем не отличается от обновления сигнатур,т.к.это обновление эвристика - это ответ на появление каких-то новых угроз. А условие теста - продукт не знает ничего о новых угрозах.

Т.е. что происходит.Появляется новый червяк. Нод32 его эвристиком не ловит. Нодовцы чешут репу, докручивают эвристик,выпускают его обновление, после чего продукт начинает червяка ловить. Но пока это обновление эвристика не выпущено - пользователь по-прежнему без защиты.

Таким образом Клименти делает абсолютно правильно, когда использует антиврусы у которых не обновлены базы(нет ни обновления сигнатур, ни обновления эвристиков). В результате тест показывает что реально способен поймать продукт новенького, пока его не напичкали обновлениями сигнатур и эвристков.

В данном случае Касперский с эвристиком выпущен 30 марта (соответственно и эвристик). Поэтому я и Нода решил взять свежего (у него база эвристики тож за 30 марта), чтобы были в равных условиях.

Да и обновление эвристика - это нормально.

Добавлено спустя 26 минут 59 секунд:

Добавлю. Если изменить настройки эмулятора в Касперском, то результат получается лучше.

На этих же 418 образцах: найдено 176 файлов.

И того Касперский обнаружил 42,11%

kis.rar

kis.rar

[TiX 0]

Провел проверку папки с теми же вирусами Нодом 2.70.32 с базами от 30 марта сего года.

Обнаружено эвристиком 71,53% вирусов (в каталоге осталось 119 файлов).

Результат - отличный. Правда большинство детекта - как модификация какого-то образца.

Это как раз показатель несигнатурного метода детектирования. Посмотрите личное сообщение.

Протестую

Как работает эвристик нода..

Он работает по 2м принципам.

1. Плохо изучен поэтому предпологаю что у нода есть нескольно очень обобщенных наборов правил для результатов эмуляции и на основании этих правил он выводит Probably NewHeur_PE virus..

2. Когда к есет попадает экземпляр вируса - червя.. его анализируют и создают набор правил для конкретного зверя. Теперь в идеале все последуюшщие версии этого семейства могут ловится по этим правилам. НО! Если выйдет новый червь то эвристика нода с очень большой степенью вероятности обломается. Чего собственно мы и увидели на 2х проверках нода в этом топике...

В тоже время эффективность эвристика кава является постоянной т.к все зверье было пойманно Generic правилами а не под конкретное семейство.

Добавлено спустя 1 минуту 31 секунду:

Посмотрите личное сообщение.

Спасибо. Проверил - Касперский эвристиком его не детектирует. Сигнатурно - Email-Worm.Win32.Warezov.ms

Интересно а как проверить эвристик если ловится сигнатурами..

У меня только 1 идея - занести конкретный обьект в доверенную зону по вердикту с надеждой на то что после этого файл будет проэмулирован.

[vaber 350]

Интересно а как проверить эвристик если ловится сигнатурами..

У меня только 1 идея - занести конкретный обьект в доверенную зону по вердикту с надеждой на то что после этого файл будет проэмулирован.

Все куда проще

Просто нужно сделать так, чтобы антвирус не загружал базы с сигнатурами. И останется только эвристика.

[TiX 0]

Ну этот вариант естественен.. но он последний раз прокатывал на версии 4.0 ж) 5 и 6 матерятся благим матом на сколько я помню.

[Inkogn 0]

...у ЛК алерты чисто эвристика...

Чем обобщённее правила,тем больше фолсов по идее.Для НОДа это должен быть уже пройденный этап.Чем тоньше правила для уменьшения фолсов,тем больше правила напоминают поведение конкретных вирусов.

...что ловит эвристик КЛ не обязательно поймает НОД ...

Если сравнивать,то так же и соотношение фолсов к правильной оценке по эвристику.

[TiX 0]

>Чем обобщённее правила,тем больше фолсов по идее

С 1 стороны это верно.. с другой спец правила это уже не эвристика.. а Generic детект семейства на базе эмулятора.

Добавлено спустя 6 минут 14 секунд:

...у ЛК алерты чисто эвристика...

Чем обобщённее правила,тем больше фолсов по идее.Для НОДа это должен быть уже пройденный этап.Чем тоньше правила для уменьшения фолсов,тем больше правила напоминают поведение конкретных вирусов.

...что ловит эвристик КЛ не обязательно поймает НОД ...

Если сравнивать,то так же и соотношение фолсов к правильной оценке по эвристику.

Пододжем месяцок... статистику соберем и подумаем ж)

[vaber 350]

Ну этот вариант естественен.. но он последний раз прокатывал на версии 4.0 ж) 5 и 6 матерятся благим матом на сколько я помню.

Ну я же как-то это сделал

(на шестерке).