Мини-тест: Иной взгляд на проактивность

[Сергей Ильин 1538]

Очень много сейчас говорится про проактивность, умение антивирусов противостоять еще неизвестным видам угроз. При этом каждый вендор тянет одеяло на себя, умело манипулируя этим понятием, вкладывая в его суть удобное для себя.

Сотрясающая воздух информация:

1. Ежедневные/ежечасные обновления необходимы.

2. Качественный эвристик - альтератива частому обновления баз.

3. Скорость реакции на новые угрозы - вот, что действительно важно.

Эти утверждения, кажется, уже твердо засели в мозг всем. Естественно, я не мог пройти мимо этих вопросов, не взглянув на них с исследовательской точки зрения.

В результате я провел небольшой тест. Заморозил базы антивирусов на неделю. Собрал из различный источников ITW коллекцию вредоносных программ, прочем только тех, которые поступили именно в эту неделю. В ней с учетом отброса повторов оказалось 1120 уникальных семплов.

Сразу хочу пояснить, что в эти 1120 попали, естественно как совсем новый самплы, так и те, который появились чуть раньше. Но все они ITW, ходили в природе именно в эту неделю и были реально опасны для пользователей.

В конце недели я прогнал по этой коллекции все антивирусы с замороженными базами. Моделировалась ситуация при которой апдейты выходят не часто или пользователь по какой-то причине их забыл/не смог/не захотел обновить.

Результаты оказались несколько неожиданными для меня (см. рисунок ниже).

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

Какие напрашиваются выводы? У меня лично самые банальные:

1. Без ежедневных апдейтов никуда

2. Важность и возможности эвристиков явно преувеличена.

Постараюсь в ближашее время к этому графику сделать надстройку от работы HIPS'ов.

[K_Mikhail 807]

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

[Иван 290]

так вроде бы общий детект он смотрел, так что все учитывалось как я понял

Сергей Ильин

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

[Сергей Ильин 1538]

При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Да, .origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

AntiVir PersonalEdition Premium 7

AVG Anti-Virus 7.5

Больше всего удивил провал "самых проактивных" - Eset и Panda Security.

[AlexxSun 150]

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

[Storm 0]

Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Дык Панда вроде только кейгены и кряки своей проактивкой ловит (личные наблюдения проверок на вирустотале ).

[Николай Головко 70]

Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

[Сергей Ильин 1538]

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

[Dr Limpopo 5]

Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Их проактивка не есть ли термин департамента маркетинга этих компаний, и не более того?

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

[Сергей Ильин 1538]

Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Чисто эвристических детектов типа Heur.* было 110.

Для сравнения у Eset детектов типа "probably a variant of .." и "probably unknown NewHeur_PE virus" было 367, но общий детект, к сожалению, хорошая эвристика не спасла.

Добавлено спустя 1 минуту 47 секунд:

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Согласен. Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно.

[A. 876]

Итого:

KAV: Чисто эвристических детектов типа Heur.* было 110.

DrWeb: origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

[AlexxSun 150]

Тест очень показательный, потому как в моей конторе у админов распространено такое мнение, что достаточно обновлять антивирус хотя бы раз в неделю. В настройках на рабочих компьютерах стоит - обновляться раз в сутки. С чем я категорически не согласен, очень неплохо было бы обновлять базы хотя бы два раза в день.

[DWState 30]

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

Спасибо

[Dexter 20]

Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно

Интересно, конечно, делать надо.

Но вот 88% недельных как-то не совпадают с моими личными ощущениями. Процентов 70-75,не больше, меня бы успокоили.

Да и 69% аваста и 73% avg как-то многовато.

А как собирались файлы, какие настройки сканеров были?

[Виталий Я. 859]

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

"Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно...."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов. :roll:

[AlexxSun 150]

Для того, чтобы было понятней, может быть у каждого антивируса должно быть две колонки с результатом? Одна - это детект со свежей базой, вторая - с базой недельной давности. Так будет сразу понятно, чем опознал антивирус - сигнатурами или эвристиком.

[Сергей Ильин 1538]

Так будет сразу понятно, чем был опознан антивирус - сигнатурами или эвристиком.

Хорошая идея, в следующий раз так и сделаем. Спасибо!

[Dexter 20]

"А мужики-то не знают..."

Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

[A. 876]

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

и кстати - причем тут Outpost ? Тестируются антивирусы, а про VirusBuster Сергей уже сказал.

[Lemmit 31]

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

А как собирались файлы, какие настройки сканеров были?

Как я понял, данный тест проводился не для того, чтобы сравнить, кто круче в проактивке, а чтобы на примере нескольких популярных АВ посмотреть (и показать), так ли сильны имеющиеся в наст. время методы проактивной защиты. Что Сергей и сделал. (+100)

А соревнование АВ по проактивке - тема отдельного теста. Там, конечно будут важны все подробности и представление большего числа участников.

[AlexxSun 150]

Виталий Я.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов.

По части выводов насчёт OSS - я согласен с Ильиным, это ещё очень сырой продукт, антивирус в нём действительно очень слабый. Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

[A. 876]

Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

лично мое ощущение - что вся первая российская пятерка _домашних_пиратских_ антивирусов представлена. Симантек и Тренд в домохозяйствах используются менее часто, чем КАВ, Нод, Панда, ДрВеб и Авира.

[Сергей Ильин 1538]

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

Symantec я не выкидывал, также как и McAfee c Trend Micro. Куда без грандов то? Скоро выложу данные и по ним.

Откровенно говоря, Agnitum до Symantec далековато, не в обиду им будет сказано. Разные так сказать весовые категории.

Добавлено спустя 10 минут 7 секунд:

А как собирались файлы, какие настройки сканеров были?

Файлы собрались, как я писал из различных источников совсем, с обменников типа нашего, с некоторых корп. шлюзов.

Так как сканирование шло по требованию, то настройки закручивались на максимум. Эвристика включалась само собой.

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

DWState, я ведь первоначально сделал развивку по некоторым вендорам, но в соседней ветке меня убедили, что это не совсем корректо все и ни о чем не говорит. Поэтому я привожу тут только суммарный детект. Если очень хочется, то потом могу привести разбиву по типам вердиктов в качестве "deep draft analysis".

[Иван 290]

Да симантека добавить и будет вполне полная картина

Сергей Ильин, да включите вы блин этот OSS в следующий раз, ну не чистое он антивирусное решение, ну ничего - будет в качестве так сказать бонуса, чтоб вопросы снять.

[Сергей Ильин 1538]

А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

Четно говоря, были такие мотивы Но раз люди просят, придется видимо выложить результаты ...

Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Ок, поставлю на вируталку, в след. раз будут данные и по ним. Но я почемуто не думаю, что это в интересах Виталия Я. и Agnitum :wink: