Перейти к содержанию
Сергей Ильин

Мини-тест: Иной взгляд на проактивность

Recommended Posts

Сергей Ильин

Очень много сейчас говорится про проактивность, умение антивирусов противостоять еще неизвестным видам угроз. При этом каждый вендор тянет одеяло на себя, умело манипулируя этим понятием, вкладывая в его суть удобное для себя.

Сотрясающая воздух информация:

1. Ежедневные/ежечасные обновления необходимы.

2. Качественный эвристик - альтератива частому обновления баз.

3. Скорость реакции на новые угрозы - вот, что действительно важно.

Эти утверждения, кажется, уже твердо засели в мозг всем. Естественно, я не мог пройти мимо этих вопросов, не взглянув на них с исследовательской точки зрения.

В результате я провел небольшой тест. Заморозил базы антивирусов на неделю. Собрал из различный источников ITW коллекцию вредоносных программ, прочем только тех, которые поступили именно в эту неделю. В ней с учетом отброса повторов оказалось 1120 уникальных семплов.

Сразу хочу пояснить, что в эти 1120 попали, естественно как совсем новый самплы, так и те, который появились чуть раньше. Но все они ITW, ходили в природе именно в эту неделю и были реально опасны для пользователей.

В конце недели я прогнал по этой коллекции все антивирусы с замороженными базами. Моделировалась ситуация при которой апдейты выходят не часто или пользователь по какой-то причине их забыл/не смог/не захотел обновить.

Результаты оказались несколько неожиданными для меня (см. рисунок ниже).

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

Какие напрашиваются выводы? У меня лично самые банальные:

1. Без ежедневных апдейтов никуда

2. Важность и возможности эвристиков явно преувеличена.

Постараюсь в ближашее время к этому графику сделать надстройку от работы HIPS'ов.

detection_rate.gif

post-4-1193343414.gif

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

так вроде бы общий детект он смотрел, так что все учитывалось как я понял

Сергей Ильин

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Да, .origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

AntiVir PersonalEdition Premium 7

AVG Anti-Virus 7.5

Больше всего удивил провал "самых проактивных" - Eset и Panda Security.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Дык Панда вроде только кейгены и кряки своей проактивкой ловит (личные наблюдения проверок на вирустотале :) ).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr Limpopo
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Их проактивка не есть ли термин департамента маркетинга этих компаний, и не более того?

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Чисто эвристических детектов типа Heur.* было 110.

Для сравнения у Eset детектов типа "probably a variant of .." и "probably unknown NewHeur_PE virus" было 367, но общий детект, к сожалению, хорошая эвристика не спасла.

Добавлено спустя 1 минуту 47 секунд:

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Согласен. Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Итого:

KAV: Чисто эвристических детектов типа Heur.* было 110.

DrWeb: origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Тест очень показательный, потому как в моей конторе у админов распространено такое мнение, что достаточно обновлять антивирус хотя бы раз в неделю. В настройках на рабочих компьютерах стоит - обновляться раз в сутки. С чем я категорически не согласен, очень неплохо было бы обновлять базы хотя бы два раза в день.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

Спасибо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно

Интересно, конечно, делать надо.

Но вот 88% недельных как-то не совпадают с моими личными ощущениями. Процентов 70-75,не больше, меня бы успокоили.:)

Да и 69% аваста и 73% avg как-то многовато.

А как собирались файлы, какие настройки сканеров были?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

"Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно...."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов. :roll:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Для того, чтобы было понятней, может быть у каждого антивируса должно быть две колонки с результатом? Одна - это детект со свежей базой, вторая - с базой недельной давности. Так будет сразу понятно, чем опознал антивирус - сигнатурами или эвристиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Так будет сразу понятно, чем был опознан антивирус - сигнатурами или эвристиком.

Хорошая идея, в следующий раз так и сделаем. Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
"А мужики-то не знают..."

Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

и кстати - причем тут Outpost ? Тестируются антивирусы, а про VirusBuster Сергей уже сказал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit
Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.
А как собирались файлы, какие настройки сканеров были?

Как я понял, данный тест проводился не для того, чтобы сравнить, кто круче в проактивке, а чтобы на примере нескольких популярных АВ посмотреть (и показать), так ли сильны имеющиеся в наст. время методы проактивной защиты. Что Сергей и сделал. (+100) :)

А соревнование АВ по проактивке - тема отдельного теста. Там, конечно будут важны все подробности и представление большего числа участников.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Виталий Я.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов.

По части выводов насчёт OSS - я согласен с Ильиным, это ещё очень сырой продукт, антивирус в нём действительно очень слабый. Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

лично мое ощущение - что вся первая российская пятерка _домашних_пиратских_ антивирусов представлена. Симантек и Тренд в домохозяйствах используются менее часто, чем КАВ, Нод, Панда, ДрВеб и Авира.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

Symantec я не выкидывал, также как и McAfee c Trend Micro. Куда без грандов то? Скоро выложу данные и по ним.

Откровенно говоря, Agnitum до Symantec далековато, не в обиду им будет сказано. Разные так сказать весовые категории.

Добавлено спустя 10 минут 7 секунд:

А как собирались файлы, какие настройки сканеров были?

Файлы собрались, как я писал из различных источников совсем, с обменников типа нашего, с некоторых корп. шлюзов.

Так как сканирование шло по требованию, то настройки закручивались на максимум. Эвристика включалась само собой.

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

DWState, я ведь первоначально сделал развивку по некоторым вендорам, но в соседней ветке меня убедили, что это не совсем корректо все и ни о чем не говорит. Поэтому я привожу тут только суммарный детект. Если очень хочется, то потом могу привести разбиву по типам вердиктов в качестве "deep draft analysis".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Да симантека добавить и будет вполне полная картина

Сергей Ильин, да включите вы блин этот OSS в следующий раз, ну не чистое он антивирусное решение, ну ничего - будет в качестве так сказать бонуса, чтоб вопросы снять.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

Четно говоря, были такие мотивы :) Но раз люди просят, придется видимо выложить результаты ...

Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Ок, поставлю на вируталку, в след. раз будут данные и по ним. Но я почемуто не думаю, что это в интересах Виталия Я. и Agnitum :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×