Результаты теста проактивной антивирусной защиты II

[Сергей Ильин 1538]

Баги пофиксили, спасибо за замечания! Некоторые оказались слишком шустрые, еще материал не выложился, а все уже ломанулись его смотреть. Мне просто нужно было уейзжать и я пост сделал на пару минут раньше

Сергей, ну что за чушь, право слово? Итоги Self-Protection вы уже публиковали, а теперь поползут по блогам в таком виде как пересмотренные.

Не публикуйте итогов без редактуры.

Во первых, не нужно мне указывать, что делать. Во вторых это все, что вы можете сказать по результатам теста? Я рассчитывал получить комментарий о том, почему год прошел, а воз (плохая эвристика в Agnitum) и ныне там.

Хочу обратить внимание на визуальную разницу

Сейчас

Конец 2007 года

Очень заметен прогресс по детекту и крен в сторону "проактива".

Удивил Нортон показавший 0% ложных срабатываний - оказывается, такого результата можно добиться. Кирилл - мои поздравления!

ИМХО ничего удивительного, у Symantec всегда очень хорошие показатели по ложным срабатываниям.

[Сергей Ильин 1538]

Еще хотел бы обратить на динамику эффективности отдельных вендоров

Динамика изменения эффективность эвристиков

Напрашивает главный вывод: эффективность эвристики выравнивается. Уже сейчас есть 9-10 вендоров с очень хорошими 45% и более. Раньше о таком проактивном детекте можно было только мечтать.

Динамика изменения качества обнаружения новых вирусов (общий детект)

Тоже заметен прогресс. Особенно сильный он у Panda Security, Symantec + наверное Avast и AVG. Последний вообще очень прилично смотрится в последних тестах и их новые продукты очень позитивное впечатление оставляют.

[ak_ 395]

По поводу ложных срабатываний Symantec: http://www.virustotal.com/ru/analisis/7182...8d7d55d19e48e19

Файл отправлялся на анализ в ЛК и Avira 15.05.08 и был признан чистым. Это электронная книга.

[Umnik 997]

Я тоже по Симантеку был удивлен, т.к. подобных ложняков, что указал ak_, видел кучу. Но все на VT.

[Arakcheev 35]

Странно, что Веба (61% - 0.2%) не вписали в категорию золотых медалистов вместо БитДефендера (60% - 0.04%)

Считаю, что детект более приоритетен, чем ложняки.

В общем, я рад за свой любимый антивирус - он, явно, на правильном пути.

[alexgr 556]

Странно, что Веба (61% - 0.2%) не вписали в категорию золотых медалистов вместо БитДефендера (60% - 0.04%)

Считаю, что детект более приоритетен, чем ложняки.

В общем, я рад за свой любимый антивирус - он, явно, на правильном пути.

Это только вопрос методологии. В остальном в принципе - если абстрагироваться от "порога" фолсов - материалы интересные и правильно отображают динамику

[Umnik 997]

Сергей Ильин

1. Можно узнать формулу расчета по штрафным баллам?

2. Возможно ли перепроверить Касперского со специальными настройками? Нам это нужно для кое-каких своих выводов. Суть - применить специальный скин и в нем выкрутить эмуль на максимум. Там будут стоять нестандартные значения, которые, тем не менее, есть в KIS, но только в одном компоненте.

Отредактировал Март 3, 2009 Umnik

[Сергей Ильин 1538]

Странно, что Веба (61% - 0.2%) не вписали в категорию золотых медалистов вместо БитДефендера (60% - 0.04%)

Считаю, что детект более приоритетен, чем ложняки.

По детекту DrWeb достоен золота, результат у этого антивируса очень хороший, я лично не ожидал этого. Не знаю, что там докрутили в 5-ке ... но результат на лицо.

По ложным срабатываниям 0.2% - это многовато для золота, порог для золота установлен в 0.1% (1 на 1000), см. схему награждения.

Можно узнать формулу расчета по штрафным баллам?

У нас тут нет штрафных баллов никаких. Есть пороги по ложным срабатываниям для каждой награды, они описаны в схеме награждения по ссылке чуть выше.

Если говорить о методологии, то мне очень жаль Sophos. Показатели детекта у них очень хорошие, но фалсы просто все перечеркнули - ругаться на каждый пятидесятый файл это уж слишком.

[Maratka 30]

Сергей Ильин

2. Возможно ли перепроверить Касперского со специальными настройками? Нам это нужно для кое-каких своих выводов. Суть - применить специальный скин и в нем выкрутить эмуль на максимум. Там будут стоять нестандартные значения, которые, тем не менее, есть в KIS, но только в одном компоненте.

Имеется в виду следующее:

в Файловом, Веб (а также почтовом) антивирусах и ХИПСе используется один и тот же эмуль, но с разными настройками.

Благодаря подмене скина можно выставить значения скажем в сканере по требованию как в веб-антивирусе, и как в ХИПСе, просканировать каталог с коллекцией вирей (а также каталог с коллекцией чистых объектов), и посмотреть на разницу.

[sww 486]

Меня, как технического специалиста интересуют технические подробности (логично), связанные с чистыми файлами:

1) download.com - это, конечно, хорошо. Брался TOP N? Как выбирались дистрибутивы?

2)

Полученные дистрибутивы распаковывались и из них отбирались только файлы exe и dll (уникальные по md5), остальные удалялись.

Как распаковывались? Что доставалось? Как определялось, что файл .exe или .dll?

Я бы на месте организаторов такие вопросы освещал бы. Все дело в том, что можно распаковать "инсталлятор" и достать кучу хлама, не являющегося файлами самой программы.

P.S. Кстати, совершенно очевидно почему у некоторых 0% (или около того) ложных срабатываний на именно этих файлах. Надо только подумать головой

[Сергей Ильин 1538]

Отвечу по порядку.

Брались все дистрибутивы с download.com, появившиеся в период с 18-го декабря по 18-е января. Именно поэтому все вендоры были в равных условиях и не могли заранее иметь эти файлы в базах whitelist. При этом исходили из того, что даже если перед заливкой на download.com файлы проверяются одним из вендоров и не заливаются в случае детекта (до исправления у вендора), то так как заморозка баз была раньше начала скачивания, то все возможные фалсы этого вендора всё равно нами были бы обнаружены.

Файлы exe и dll определялись с помощью filetype 1.26, который как проверяет корректность PE-заголовка.

Распаковывались все файлы внутренними средствами построенным на большом числе публичных средств (много видов инсталлятором понимает 7zip, так же там есть inno extracter и т.д.). Далее, как я написал в методологии, были удалены все дубликаты файлов.

[sww 486]

Все вышесказанное меня удовлетворило. Пройдемся дальше.

Файлы exe и dll определялись с помощью filetype 1.26, который как проверяет корректность PE-заголовка.

Это хорошо, именно PE-заголовок. Интересно еще было бы взять не только .exe и .dll, а еще и драйверы, которые вполне могут быть в дистрибутивах.

А еще интереснее - вообще не выкидывать ничего из дистрибутива, так как есть эвристики, которые заточены под скрипты, html и прочее. Они могут быть в "хелпах" к продуктам (chm, html, pdf). Это, конечно, не такой страшный фолс, как на исполняемый файл, но все-таки - это фолс.

Распаковывались все файлы внутренними средствами построенным на большом числе публичных средств (много видов инсталлятором понимает 7zip, так же там есть inno extracter и т.д.). Далее, как я написал в методологии, были удалены все дубликаты файлов.

Ну а это никуда не годится Я уже писал выше почему.

Необходимо устанавливать дистрибутивы и собирать то, что создается на диске, а потом уже отсеивать. Т.е. или построить систему на "снэпшотах" (сравнение изменений файловой системы до и после установки), либо построить систему на "фильтре" в реальном времени, который будет собирать файлы.

[Сергей Ильин 1538]

Необходимо устанавливать дистрибутивы и собирать то, что создается на диске, а потом уже отсеивать. Т.е. или построить систему на "снэпшотах" (сравнение изменений файловой системы до и после установки), либо построить систему на "фильтре" в реальном времени, который будет собирать файлы.

В идеале да, согласен, но здесь встает вопрос ресурсов. Поставить сотни программ и собрать после них файлы все новые - это весьма ресурсоемкая задача. Вот если бы ее автоматизировать как-то ...

[sww 486]

В идеале да, согласен, но здесь встает вопрос ресурсов. Поставить сотни программ и собрать после них файлы все новые - это весьма ресурсоемкая задача. Вот если бы ее автоматизировать как-то ...

Конечно автоматизировать, но тут нужен программист

[Сергей Ильин 1538]

Конечно автоматизировать, но тут нужен программист smile.gif

Ага и это точно не я К будущей итерации есть шанс подготовиться более тщательно.

Кстати, обратите внимание на очень хорошее совпадение итогов предварительного открытого голосования и результатов теста. BitDefender, пожалуй, только серьезно недооценили.

[NickXists 5]

Все вышесказанное меня удовлетворило. Пройдемся дальше.

Это хорошо, именно PE-заголовок. Интересно еще было бы взять не только .exe и .dll, а еще и драйверы, которые вполне могут быть в дистрибутивах.

А еще интереснее - вообще не выкидывать ничего из дистрибутива, так как есть эвристики, которые заточены под скрипты, html и прочее. Они могут быть в "хелпах" к продуктам (chm, html, pdf). Это, конечно, не такой страшный фолс, как на исполняемый файл, но все-таки - это фолс.

это и без меня известно,

но, imho, стоит также:

по крайней мере, "прогнать" поверх получившегося набора исполняемых файлом каким-нибудь из доступных pe-validator-ов (скрипты к CFF, например)

...

Ну а это никуда не годится Я уже писал выше почему.

Необходимо устанавливать дистрибутивы и собирать то, что создается на диске, а потом уже отсеивать. Т.е. или построить систему на "снэпшотах" (сравнение изменений файловой системы до и после установки), либо построить систему на "фильтре" в реальном времени, который будет собирать файлы.

хлам (скрипты и прочее барахло инсталлеров) при использовании более-менее стабильных публичных автораспаковщиков вполне реально отсеять,

хотя вариант приладить какой-нибудь фильтр файловой системы (например, один из существующих sandbox-ов) для сколь-нибудь автоматизированного сбора инсталлированного файлА, тоже реален.

[Виталий Я. 859]

Сергей, горячиться не надо -

Уже поползли... И картинки тоже из старого теста.

(хорошо, Lex не приводил линки)

повесь кто републикацию репорта с багами на nnm.ru за эти 5 часов, вам бы это не простили еще 5 вендоров.

А обращаться за комментариями к участникам второго подряд "теста самозащиты", видимо, было нелогично

[SBond 253]

Спасибо за долгожданные тесты, надо их по изучать в ближайшие дни.

Хм, на сколько я понял, лучший детект оказался у Авиры, но она не попала на первое место из-за того что есть ошибки, но с другой стороны, ведь 71% и 61% это огромная разница, по мне лучше пусть будет лишний один фолс, чем пропущенные те самые 10% вирусов тем более 10% это большая цифра тестовых вирусов на сколько я понял...

[Сергей Ильин 1538]

Хм, на сколько я понял, лучший детект оказался у Авиры, но она не попала на первое место из-за того что есть ошибки, но с другой стороны, ведь 71% и 61% это огромная разница, по мне лучше пусть будет лишний один фолс, чем пропущенные те самые 10% вирусов

Такой подход вполне имеет право на жизнь. Ознакомившись с результатами теста можно принять решения о выборе оптимального для себя решения. Нужен максимальный детект - ставь Авиру. Нужен высокий детект с приемлемым уровнем фалсов - Касперский, Eset, BitDefender. Нужен хороший детект с минимумов фалсов - ставь Norton.

повесь кто републикацию репорта с багами на nnm.ru за эти 5 часов, вам бы это не простили еще 5 вендоров.

Это было рискованно... у меня было всего 5 минут на пост

[p2u 824]

Такой подход вполне имеет право на жизнь.

Мне кажется, что должны учитываться 1) распространённость и 2) значение/ назначение файлов, на которые анти-вирус 'фолсит'. Если он 'фолсит' на LiveMessenger, то тогда большой минус, а если 'фолсит' на какой-нибудь редактор перла, который почти никто не использует, 'наказание' должно быть мягче...

Paul

[sww 486]

Мне кажется, что должны учитываться 1) распространённость и 2) значение/ назначение файлов, на которые анти-вирус 'фолсит'. Если он 'фолсит' на LiveMessenger, то тогда большой минус, а если 'фолсит' на какой-нибудь редактор перла, который почти никто не использует, 'наказание' должно быть мягче...

Paul

Не согласен. Во-первых, это очень субъективно, а во-вторых, выбирать надо именно топовые дистрибутивы. И вообще, весь интернет не выкачаешь, иначе получится как у Bit9.

[SBond 253]

Все-таки я думаю тест не совсем корректен, нельзя сравнивать просто антивирусы и секьюрити , так как первые проиграют в любом случае, из-за того что не оснащены хипсом защиты системы, или я чего-то недопонимаю? На сколько я понимаю, реальная защита измеряется не в детекте вирусов на винте, а активная попытка деятельности вируса, или его агрессивная атака извне (особенно из интернета) т.е. если специально найти вирус, тот который не знает, конкретный антивирус, и сделать атаку на заражение...

Конечно так проверять, наверное, практически невозможно, слишком много надо на это время, чтобы проводить подобные тесты.

Но история говорит свое, и она почему-то отличительна от тестов.

[Сергей Ильин 1538]

Все-таки я думаю тест не совсем корректен, нельзя сравнивать просто антивирусы и секьюрити , так как первые проиграют в любом случае, из-за того что не оснащены хипсом

Это неверное понимание теста. Мы вообще не трогали тут хипсы в принципе. Тестировалась эффективность эвристики. Для этого мы смотрели не только уровень детекта, но и уровень ложных срабатываний (как обратную сторону технологии).

Дополнительно к этому антивирусы проверили на скорость реакции (общий детект в конце теста), оценив процент добавочного для нашего случая сигнатурного детекта.

Проверка HIPS - это совсем другой тест. Вам сюда http://www.anti-malware.ru/node/885

[SBond 253]

Проверка HIPS - это совсем другой тест. Вам сюда http://www.anti-malware.ru/node/885

Спасибо, сори, что-то я совсем ослеп и не внимательно читал тесты, видать у меня в глазах двоилось, будто бы в тестах принимали участие секьюрити

[Shadow_Tm 0]

Подскажите, в Dr.WEB Space разве HIPS встроенный, в отличии от обычного антивируса???