Перейти к содержанию
Сергей Ильин

Мини-тест: Иной взгляд на проактивность

Recommended Posts

Сергей Ильин

Очень много сейчас говорится про проактивность, умение антивирусов противостоять еще неизвестным видам угроз. При этом каждый вендор тянет одеяло на себя, умело манипулируя этим понятием, вкладывая в его суть удобное для себя.

Сотрясающая воздух информация:

1. Ежедневные/ежечасные обновления необходимы.

2. Качественный эвристик - альтератива частому обновления баз.

3. Скорость реакции на новые угрозы - вот, что действительно важно.

Эти утверждения, кажется, уже твердо засели в мозг всем. Естественно, я не мог пройти мимо этих вопросов, не взглянув на них с исследовательской точки зрения.

В результате я провел небольшой тест. Заморозил базы антивирусов на неделю. Собрал из различный источников ITW коллекцию вредоносных программ, прочем только тех, которые поступили именно в эту неделю. В ней с учетом отброса повторов оказалось 1120 уникальных семплов.

Сразу хочу пояснить, что в эти 1120 попали, естественно как совсем новый самплы, так и те, который появились чуть раньше. Но все они ITW, ходили в природе именно в эту неделю и были реально опасны для пользователей.

В конце недели я прогнал по этой коллекции все антивирусы с замороженными базами. Моделировалась ситуация при которой апдейты выходят не часто или пользователь по какой-то причине их забыл/не смог/не захотел обновить.

Результаты оказались несколько неожиданными для меня (см. рисунок ниже).

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

Какие напрашиваются выводы? У меня лично самые банальные:

1. Без ежедневных апдейтов никуда

2. Важность и возможности эвристиков явно преувеличена.

Постараюсь в ближашее время к этому графику сделать надстройку от работы HIPS'ов.

detection_rate.gif

post-4-1193343414.gif

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

так вроде бы общий детект он смотрел, так что все учитывалось как я понял

Сергей Ильин

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Да, .origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

AntiVir PersonalEdition Premium 7

AVG Anti-Virus 7.5

Больше всего удивил провал "самых проактивных" - Eset и Panda Security.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Дык Панда вроде только кейгены и кряки своей проактивкой ловит (личные наблюдения проверок на вирустотале :) ).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr Limpopo
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Их проактивка не есть ли термин департамента маркетинга этих компаний, и не более того?

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Чисто эвристических детектов типа Heur.* было 110.

Для сравнения у Eset детектов типа "probably a variant of .." и "probably unknown NewHeur_PE virus" было 367, но общий детект, к сожалению, хорошая эвристика не спасла.

Добавлено спустя 1 минуту 47 секунд:

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Согласен. Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Итого:

KAV: Чисто эвристических детектов типа Heur.* было 110.

DrWeb: origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Тест очень показательный, потому как в моей конторе у админов распространено такое мнение, что достаточно обновлять антивирус хотя бы раз в неделю. В настройках на рабочих компьютерах стоит - обновляться раз в сутки. С чем я категорически не согласен, очень неплохо было бы обновлять базы хотя бы два раза в день.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

Спасибо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно

Интересно, конечно, делать надо.

Но вот 88% недельных как-то не совпадают с моими личными ощущениями. Процентов 70-75,не больше, меня бы успокоили.:)

Да и 69% аваста и 73% avg как-то многовато.

А как собирались файлы, какие настройки сканеров были?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

"Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно...."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов. :roll:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Для того, чтобы было понятней, может быть у каждого антивируса должно быть две колонки с результатом? Одна - это детект со свежей базой, вторая - с базой недельной давности. Так будет сразу понятно, чем опознал антивирус - сигнатурами или эвристиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Так будет сразу понятно, чем был опознан антивирус - сигнатурами или эвристиком.

Хорошая идея, в следующий раз так и сделаем. Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
"А мужики-то не знают..."

Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

и кстати - причем тут Outpost ? Тестируются антивирусы, а про VirusBuster Сергей уже сказал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit
Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.
А как собирались файлы, какие настройки сканеров были?

Как я понял, данный тест проводился не для того, чтобы сравнить, кто круче в проактивке, а чтобы на примере нескольких популярных АВ посмотреть (и показать), так ли сильны имеющиеся в наст. время методы проактивной защиты. Что Сергей и сделал. (+100) :)

А соревнование АВ по проактивке - тема отдельного теста. Там, конечно будут важны все подробности и представление большего числа участников.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Виталий Я.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов.

По части выводов насчёт OSS - я согласен с Ильиным, это ещё очень сырой продукт, антивирус в нём действительно очень слабый. Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

лично мое ощущение - что вся первая российская пятерка _домашних_пиратских_ антивирусов представлена. Симантек и Тренд в домохозяйствах используются менее часто, чем КАВ, Нод, Панда, ДрВеб и Авира.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

Symantec я не выкидывал, также как и McAfee c Trend Micro. Куда без грандов то? Скоро выложу данные и по ним.

Откровенно говоря, Agnitum до Symantec далековато, не в обиду им будет сказано. Разные так сказать весовые категории.

Добавлено спустя 10 минут 7 секунд:

А как собирались файлы, какие настройки сканеров были?

Файлы собрались, как я писал из различных источников совсем, с обменников типа нашего, с некоторых корп. шлюзов.

Так как сканирование шло по требованию, то настройки закручивались на максимум. Эвристика включалась само собой.

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

DWState, я ведь первоначально сделал развивку по некоторым вендорам, но в соседней ветке меня убедили, что это не совсем корректо все и ни о чем не говорит. Поэтому я привожу тут только суммарный детект. Если очень хочется, то потом могу привести разбиву по типам вердиктов в качестве "deep draft analysis".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Да симантека добавить и будет вполне полная картина

Сергей Ильин, да включите вы блин этот OSS в следующий раз, ну не чистое он антивирусное решение, ну ничего - будет в качестве так сказать бонуса, чтоб вопросы снять.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

Четно говоря, были такие мотивы :) Но раз люди просят, придется видимо выложить результаты ...

Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Ок, поставлю на вируталку, в след. раз будут данные и по ним. Но я почемуто не думаю, что это в интересах Виталия Я. и Agnitum :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      а вот это странно, надо будет почитать может еще что-то отключать надо
    • SQx
      В моем случае я кажется нашел этот - DhcpDomain папаметр: HKEY_LOCAL_MACHINE\SYSTEM\ControlSet001\Services\Tcpip\Parameters\Interfaces\{64846981-4885-4d8b-af0b-1097a90e00f6} EnableDHCP REG_DWORD 0x1 Domain REG_SZ NameServer REG_SZ DhcpServer REG_SZ 192.168.2.1 Lease REG_DWORD 0x3f480 LeaseObtainedTime REG_DWORD 0x6145e5fe T1 REG_DWORD 0x6147e03e T2 REG_DWORD 0x61495bee LeaseTerminatesTime REG_DWORD 0x6149da7e AddressType REG_DWORD 0x0 IsServerNapAware REG_DWORD 0x0 DhcpConnForceBroadcastFlag REG_DWORD 0x0 DhcpNetworkHint REG_SZ 8616070797 RegistrationEnabled REG_DWORD 0x1 RegisterAdapterName REG_DWORD 0x0 IPAddress REG_MULTI_SZ SubnetMask REG_MULTI_SZ DefaultGateway REG_MULTI_SZ DefaultGatewayMetric REG_MULTI_SZ DhcpIPAddress REG_SZ 192.168.2.103 DhcpSubnetMask REG_SZ 255.255.255.0 DhcpDomain REG_SZ home DhcpNameServer REG_SZ 192.168.2.1 DhcpDefaultGateway REG_MULTI_SZ 192.168.2.1 DhcpSubnetMaskOpt REG_MULTI_SZ 255.255.255.0 DhcpInterfaceOptions REG_BINARY FC00000000000000000000000000000043880400790000000000000000000000000000004388040077000000000000000000000000000000438804002F000000000000000000000000000000438804002E000000000000000000000000000000438804002C000000000000000000000000000000438804002B0000000000000000000000000000004388040021000000000000000000000000000000438804001F000000000000000000000000000000438804000F000000000000000400000000000000C339F780686F6D6506000000000000000400000000000000C339F780C0A8020103000000000000000400000000000000C339F780C0A8020101000000000000000400000000000000C339F780FFFFFF0033000000000000000400000000000000C339F7800003F48036000000000000000400000000000000C339F780C0A8020135000000000000000100000000000000C339F78005000000 DhcpGatewayHardware REG_BINARY C0A8020106000000B8D94D42ED7E DhcpGatewayHardwareCount REG_DWORD 0x1 также я могу его пинговать. >ping -a home Pinging home.home [192.168.2.1] with 32 bytes of data: Reply from 192.168.2.1: bytes=32 time=1ms TTL=64 Reply from 192.168.2.1: bytes=32 time=1ms TTL=64  
    • SQx
      Мне ЛК, также написали:
        Но пользователь сказал, что не было галочки на "Автоматически определять настройки".
    • PR55.RP55
      Например есть  пакет с драйверами ( сотни... тысячи драйверов ) Предполагается использовать этот пакет для обновления системных драйверов, или WIM Часть драйверов подписана, часть нет... Хотелось бы, чтобы uVS  ( по команде в меню: Файл ) - создала из этих драйверов пакет установки\обновления. Копию только из подписанных ( прошедших проверку ( и проверенных по SHA ) драйверов. Копию по типу программы: " Double Driver" http://soft.oszone.net/program/5936/Double_Driver/ + Возможность создать копию системных драйверов, системы - но, опять таки... копировать только подписанные драйвера и те, что есть в базе SHA.  
    • demkd
      гляну, но это дыра с wpad все равно закрывается лишь отключением автонастройки прокси в браузере, больше никак.
×