Тест HIPS на предотвращение проникновения в ядро Microsoft Windows

[Сергей Ильин 1538]

Коллеги, рад представить вам результаты нашего нового сравнения. На этот раз мы сравнили эффективность модулей HIPS в составе антивирусов и фаерволов на качество защиты от проникновения в ядро ОС Microsoft Windows.

Сравнивались:

1. PC Tools Firewall Plus 5.0.0.38

2. Jetico Personal Firewall 2.0.2.8.2327

3. Online Armor Personal Firewall Premium 3.0.0.190

4. Kaspersky Internet Security 8.0.0.506

5. Agnitum Outpost Security Suite 6.5.3 (2518.381.0686)

6. Comodo Internet Security 3.8.65951.477

Методологию и результаты сравнения можно посмотреть здесь

http://www.anti-malware.ru/hips_test_ring0

Основные выводы:

Как показывают результаты, лучшие продуктами по предотвращению проникновения вредоносных программ на уровень ядра ОС являются Online Armor Personal Firewall Premium 3.0, Comodo Internet Security 3.8, Kaspersky Internet Security 2009.

Минимальное количество запросов действий пользователя наблюдалось у Kaspersky Internet Security 2009, PC Tools Firewall Plus 5.0 и Agnitum Outpost Security Suite 6.5. Остальные продукты зачастую надоедали алертами.

Буду рад услышать ваши комментарии к тесту.

Напомню, что его методология обсуждалась здесь.

[Danilka 678]

Рад,что KIS показал по моему мнению самый лучший результат по соотношению-уровень защиты к колличеству запросов к пользователю,жаль что KnownDlls провалил,а так бы был самый отличный результат.

Спасибо за проведенное тестирование.

[priv8v 960]

а чего способы расставили не по приоритетам? например можно было бы scm поставить первым, а ниже - по встречаемости (так было бы логично и всем больше понято что и как юзается (как часто)). + думаю, можно было бы расширить степень встречаемости, а то выходит что замена системного драйвера встречается по частоте также как и загрузка чисто своего кода через scmanager.

KnownDlls - эмм... почему его сюда включили?

я немного сомневаюсь в этом.

В участвующих в тесте антивирусах файловый монитор отключался, а в Kaspersky Internet Security 2009 вредоносное приложение вручную помещалось в слабые ограничения из недоверенной зоны.

Иными словами КИС8 все 9 файлов с помощью своего эмулятора поместил в недоверенные и поэтому пришлось усмирять эмулятор путем добавления файлов в слабые ограничения, дабы их вообще удалось запустить (что бы посмотреть на работу других модулей т.к на эмулятор уже насмотрелись)?

CreateFileA \\.\PhysicalDriveX

что тут выдавали? на чтение были алерты? или только на запись?

[Danilka 678]

Иными словами КИС8 все 9 файлов с помощью своего эмулятора поместил в недоверенные и поэтому пришлось усмирять эмулятор путем добавления файлов в слабые ограничения, дабы их вообще удалось запустить (что бы посмотреть на работу других модулей т.к на эмулятор уже насмотрелись)?

При запуске вредоносного приложения эмуль считает рейтинг и выдает аллерт о том,что приложение имеет большой рейтинг опасности и не имеет цифровой подписи и не содержится в базе доверенного ПО,на этом аллерте можно выбрать 3 пункта-во время тестирования выбрали самый верхний пункт(при его выборе приложение попадает в слабые ограничения) чтобы запустить данный вредонос,но хочу заметить что на этом аллерте рекомендуемое действие-ограничить данную программу(сильные ограничения),и при ее нажатии я думаю у KIS был бы 100 % результат.

Как я понял тест проводили в интерактиве?

[priv8v 960]

Нет. Некоторые точно были сразу помещены в недоверенные без всяких запросов. Об этом говорит это предложение:

в Kaspersky Internet Security 2009 вредоносное приложение вручную помещалось в слабые ограничения из недоверенной зоны

на последние три слова обратите внимание - т.е приложения вначале попали в недоверенную зону, а их уже потом оттуда выцарапали и положили в слабые ограничения.

Минус - если вредоносный код сумел попасть в Ring 0, либо сумел открыт диск на посекторное чтение и произвести запись.

Поправьте здесь очепятку. Нужно добавить мягкий знак к слову в слово "открыть".

+

как определяли успешность загрузки в ринг0 ???

PS: Спасибо большое vaber'y и Илье Рабиновичу за проведение этого полезного теста.

[Danilka 678]

Нет. Некоторые точно были сразу помещены в недоверенные без всяких запросов.

В таком случае- был подключен интернет и приложения уже находились в базе "недоверенных",т.к. в "недоверенные приложения" зловред попадает если на аллерте(при запуске приложения) нажать самый нижний пункт-запретить запуск.

Скорее всего имелось в виду "сильные ограничения"...

[sww 486]

1) Опять куча орфографических ошибок. Я не понимаю, сложно проверить вордом?

2) Кружочек с кольцами защиты позабавил, сперли с википедии. Честно говоря, не знаю что за "нубы" его рисовали.

3) А Рабинович проплатил комментарий с рекламой своего хипса?

4) Понравилось то, что дополнительно смотрели на количество алертов, которые реально достают обычных людей.

5) Не понял фразы (уже объяснили, что это если одним большим красным ползунком можно было сделать на максимум):

Все продукты устанавливались с максимальными настройками, если их можно было задать без тонкого ручного изменения настроек HIPS.

6) Способов существует конечно же больше.

В целом тест так себе, такое вот мое субъективное ощущение.

[Гриша 50]

В таком случае- был подключен интернет и приложения уже находились в базе "недоверенных",т.к. в "недоверенные приложения" зловред попадает если на аллерте(при запуске приложения) нажать самый нижний пункт-запретить запуск.

Ы? HIPS смотрит на ODS и если есть сигнатура он поместит его в "недоверенные" без всяких алертов и интернета, даже если ФА отключен.

А поскольку отобранные образцы вредоносных программ могли детектироваться сигнатурно

Наверное все таки детектилось, потому KIS и помещал в "недоверенные".

[vaber 350]

6) Способов существует конечно же больше.

Инжектов он захотел, не-не-не

Способов-то больше, но реально в малварках используется эти , хотя может чего-то и не усмотрел когда отбирал.

В целом тест так себе, такое вот мое субъективное ощущение.

Что значит так себе? Огого!!

а чего способы расставили не по приоритетам? например можно было бы scm поставить первым, а ниже - по встречаемости (так было бы логично и всем больше понято что и как юзается (как часто)). + думаю, можно было бы расширить степень встречаемости, а то выходит что замена системного драйвера встречается по частоте также как и загрузка чисто своего кода через scmanager.

Я когда давал статистику - она была субъективной. В процентном соотношении чего больше чисто SCM или подмены сказать не могу.

KnownDlls - эмм... почему его сюда включили?

Ну как бэ...ага

что тут выдавали? на чтение были алерты? или только на запись?

В задачу сравнения это не ставилось - врядли кто-то на это обратил внимание.

как определяли успешность загрузки в ринг0 ???

По наличию драйвера в памяти и отсутствующим перехватам вестимо

PS: Спасибо большое vaber'y и Илье Рабиновичу за проведение этого полезного теста.

За спасибо спасибо - но причем тут мы? )

Скорее всего имелось в виду "сильные ограничения"...

Семплы, что я выдал - в большинстве своем детектировались сигнатурно -> помещались в недоверенные. Чтобы сравнение хоть как то провести было предложено вручную переместить в слабые ограничения.

[p2u 824]

Во-первых спасибо vaber и Илья Рабинович.

Только жаль, что продукты также не тестировались с настройками по умолчанию. Таким образом мы могли бы оценить:

- насколько средний пользователь реально защищён определённым продуктом

- насколько широк диапазон между тем, что производитель рекомендует, и тем, что продукт даёт при максимальных настройках.

Понравилось то, что дополнительно смотрели на количество алертов, которые реально достают обычных людей.

Это было бы уместно если продукты тестировались бы с настройками по умолчанию (так обычный пользователь будет сидеть именно для того, чтобы избегать их).

Здесь я считаю это СОВСЕМ НЕОПРАВДАНО. Если сам пользователь выбирает 'Paranoid Mode', то тогда он не должен жаловаться на количество алертов. Мне кажется, что при максимальных настройках именно оценка по этапам лучше показывает продвинутость определённого продукта - чем больше функциональных алертов (и при этом блокируемых этапов в процессе), тем лучше. Именно на определённом этапе может пройзойти обход определённого продукта если зловред заточен против него.

P.S.: За показ алертов действий, которые всё равно не блокируются, когда нажимаешь 'Запретить' надо строго наказывать (оценка = -1, -2, и т.д.). Только так можно производителей заставить продать нам качество.

Paul

[Danilka 678]

Только жаль, что продукты также не тестировались с настройками по умолчанию. Таким образом мы могли бы оценить:

- насколько средний пользователь реально защищён определённым продуктом

- насколько широк диапазон между тем, что производитель рекомендует, и тем, что продукт даёт при максимальных настройках.

Да,согласен. Было бы интересно посмотреть на результаты с настройками по умолчанию.

Что скажу про KIS

Даже если его тестили с настройками по умолчанию и в автоматическом режиме-то он бы прошел тест скорее всего на все 100%,т.к.:

Семплы, что я выдал - в большинстве своем детектировались сигнатурно -> помещались в недоверенные. Чтобы сравнение хоть как то провести было предложено вручную переместить в слабые ограничения.

А в недоверенных -они бы просто не запустились.

P.S. Гриша-спасибо за наводку,все таки да,думаю образцы всеже детектились.

Но даже есди детекта нет-то в случае описанным мною-среднестатистический пользователь на данном аллерте нажмет-ограничить данную программу(зловреда)-что рекомендуется,что все равно приведет к тому,что тест все равно был бы пройден.

[p2u 824]

Что скажу про KIS

Даже если его тестили с настройками по умолчанию и в автоматическом режиме-то он бы прошел тест скорее всего на все 100%,т.к.:

Прикол в данном виде тестов именно в том, что детект по сигнатурам ДОЛЖЕН быть отключён (у нас якобы неизвестный зловред). То, что написал я не имел в виду как аргумент против KIS.

Paul

[Danilka 678]

Прикол в данном виде тестов именно в том, что детект по сигнатурам ДОЛЖЕН быть отключён (у нас якобы неизвестный зловред). То, что написал я не имел в виду как аргумент против KIS.

Paul

А я и не спорю,я на оборот только за. Было бы очень интересно посмотреть на зловреды которых 100% нет в базах и с настройками по умолчанию ВСЕХ HIPS.

[vaber 350]

Только жаль, что продукты также не тестировались с настройками по умолчанию. Таким образом мы могли бы оценить:

- насколько средний пользователь реально защищён определённым продуктом

- насколько широк диапазон между тем, что производитель рекомендует, и тем, что продукт даёт при максимальных настройках.

Вы можете дать нам статистику использования данных программ с настройками по-умолчанию? Что есть по-умолчанию? А если пользователь хоть что-то изменит в настройках - это по-умолчанию? Пользователь вообще может отключить хипс, чтобы не мешал, и что? Было решено отталкиваться от того, что мы не знаем что сделает пользователь - он даже на алерте о загрузке драйвера может "Разрешить" нажать. Поэтому мы пошли путем сравнения самих продуктов - их возможностей без тонких настроек.

детект по сигнатурам ДОЛЖЕН быть отключён

Он и отключался, иначе бы те продукты, где есть AV движек просто бы сносили бинарик и на этом все сравнение бы закончилось.

[p2u 824]

@ vaber

Я естественно имел в виду настройки HIPS по умолчанию. Допустим, что при установки предлагается включить HIPS или нет - то тогда выбрать 'ОК' (любимая кнопка у всех). Но и в HIPS есть настройки по умолчанию и маскимальные. Там оставить как производитель задал.

Paul

[Danilka 678]

Вы можете дать нам статистику использования данных программ с настройками по-умолчанию? Что есть по-умолчанию?

По умолчанию-это когда ставишь продукт и не настраиваешь его-настройки оставляешь,как производитель поставил. В данном случае,как сказал Paul -не менять настройки HIPS а например KIS тестировать в автоматическом режиме,как он и стоит у большинства пользователей.

Он и отключался, иначе бы те продукты, где есть AV движек просто бы сносили бинарик и на этом все сравнение бы закончилось.

К сожалению у того же KIS не учли,что HIPS еще "отталкивается" от баз вредоносов независмо от того-отключены другие компоненты или нет.

[vaber 350]

Я естественно имел в виду настройки HIPS по умолчанию. Допустим, что при установки предлагается включить HIPS или нет - то тогда выбрать 'Да'. Но и в HIPS есть настройки по умолчанию и маскимальные. Там оставить как производитель задал. smile.gif

И я их имел ввиду.

Если оставить по-умолчанию - то будут результаты сравнения по-умолчанию, такие какие будут если все время тыкать "да". НО! Повторюсь, это вовсе не означает, что такие бы результаты были бы больше/меньше приближены к действительности (с KIS тогда бы вообще бы тест не удался - его бы просто банально не смогли бы протестировать). В действительности все иначе - там накладывается много факторов, включая что пил/курил пользователь в момент проникновения малвары на ПК . Поэтому это лишь сравнение способности хипс данных продуктов противостоять проникновения в нулевое кольцо неивестной заразы, которая каким-то чудом попала на ПК - не больше не меньше.

[p2u 824]

@ vaber

Comodo, например, рекомендует включить HIPS, но с настройками по умолчанию. Я думаю, что большинство пользователей этого продукта так и сидит. А вы поставили на 'Paranoid' (самый высокий уровень), или нет? Вот именно эту разницу хотелось бы увидеть для всех тестируемых продуктов.

Paul

[Danilka 678]

vaber, вот вы говорите,что результаты будут по умолчанию если тестить с настройками по умолчанию-тогда скажите мне, а какой смысл в таком тесте-который провели ВЫ?Тест получается необъективным в таком случае.

P.S. Мое мнение-если уж тестить,то тестить в реально приближенным к стандартным условиям- естественно отключив компоненты,кроме HIPS и не трогать настройки HIPS,а на аллертах отвечать так,как ответило бы большинство пользователей при запуске неизвестной бы программы. Да и пускай бы с KIS тест бы не удался-значит он защищает своих пользователей на все 100%,а остальных продуктов очень бы интересно было бы посмотеть результаты. А то так получается,что Вы продукты ставите не в равные условия,что является причиной необъективности результатов.

[p2u 824]

@ Danilka

Тогда надо переименовать тест - 'Защита комбайнов с настройками по умолчанию, но с отключённым АВ' (некоторые продукты не включают HIPS по умолчанию). Здесь тестируется именно функционал HIPS.

Paul

[Danilka 678]

@ Danilka

Тогда надо переименовать тест - 'Защита комбайнов с настройками по умолчанию, но с отключённым АВ' (некоторые продукты не включают HIPS по умолчанию). Здесь тестируется именно функционал HIPS.

Paul

Почему "комбайнов"?

Паул,мы с Вами говорим про одно и тоже(только немного разными словами)-я говорю именно про настройки HIPS-чтобы их не трогали,а остальные компоненты мало волнуют-тестировали то HIPS.Но на аллертах отвечать так,как отвечали бы большинство. А в случае того же KIS-то он сразу прошел тест,т.к. HIPS в нем вредоносы просто не дал запустить. А то так получается в одном продукте запретили выполнение чего либо,а вдругом как в KIS разрешили-т.к. в разных группах ведь разные настройки правил в нем.

[p2u 824]

Но на аллертах отвечать так,как отвечали бы большинство.

Этого нельзя реально оценить. Кто-то (я, например) любит кофе, а кто-то пиво. Реакция может быть совсем другая.

P.S.1: По возможности надо делать вид, что пользователь всё-таки соображает немного, и примет правильное решение.

P.S.2: Я в объективности результатов данного теста НЕ СОМНЕВАЮСЬ, пусть это будет всем понятно.

Paul

[Danilka 678]

По возможности надо делать вид, что пользователь всё-таки соображает немного, и примет правильное решение.

Вот я об этом и говорю.

Я в объективности результатов данного теста НЕ СОМНЕВАЮСЬ

А вот у меня вызывает сомнения объективность и именно результаты KIS-т.к. этот продукт я знаю намного лучше чем остальные продукты(по этому я про остальные и не говорю ничего,а так бы и естественно и про них сказал бы )

Получается его все равно поставили не в равные условия- поместив вредоносы в слабые ограничения-это уже явно не стандартная ситуация.

[Umnik 997]

В KIS 2 "умолчания". Галочка автоматического принятия решений включена - первое "умолчание". Выключена - второе "умолчание". Так что вернее было бы сказать "сразу быстрой установки". Но это все вариации на тему.

[Danilka 678]

В KIS 2 "умолчания". Галочка автоматического принятия решений включена - первое "умолчание". Выключена - второе "умолчание". Так что вернее было бы сказать "сразу быстрой установки". Но это все вариации на тему.

Дим,что в первом,что и во втором случае- вредоносы попали сразу в недоверенные-настройки то для этой группы одинаковые в обоих режимах-запрет на все.

А тут поместили вредоносов в слабые,что сразу стало не стандартной ситуацией,и в различных режимах KIS настройки этой группы работают по разному...