Тест фаерволов на защиту от внутренних атак (результаты)

[Сергей Ильин 1538]

Друзья, вот и случился этот долгожданные момент. Мы опубликовали результаты нового теста. Этот тест для нас не просто один из новых, он серьезно расширяет линейку наших тестов и открывает для нас новые возможности.

Тест фаерволов первоначально задумывался как один единый, но при рассмотрении вопроса более детально мы поняли, что есть две большие задачи:

1. Сравнение защиты от внешних атак

2. Сравнение защиты от внутренних атак

Мы решили начать с бОльшей части - внутренних атак. В ближайшее время мы начинаем делать вторую часть - сравнение защиты от внешних атак. Есть концепт, нужно лишь уточнить и доработать некоторые детали методологии.

Напомню, что мы решили не суммировать результаты на различых настройках, так что каждый фаервол может получить от 0 до 2 медалей. Рекомендую перед чтением результатов ознакомиться с этими статьями

Методология теста http://www.anti-malware.ru/node/4604

Описание схемы награждения http://www.anti-malware.ru/node/4605

*********************************

Итак, результаты теста.

http://www.anti-malware.ru/firewall_test_o...protection_2011

Результаты теста фаерволов на стандартных настройках

Результаты теста фаерволов на максимальных настройках

Сводные результаты теста фаерволов на стандартных и максимальных настройках

Подробности можно посмотреть в отчете о тестировании в формате Excel

http://www.anti-malware.ru/files/Firewall_...lts_2011_pb.xls

[Aviralover 10]

Спасибо за тест. Молодцы. Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках. Поздравляю автора Дефенсвола с победой. Авираловер

[RuJN 21]

Microsoft - это тут встроенный брандмауер Windows?

[demkd 638]

Comodo как обычно рулит Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

[Сергей Ильин 1538]

Microsoft - это тут встроенный брандмауер Windows?

Да, это встроенный фаервол + Microsoft Security Essencials, использовалась связка.

Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках.

Comodo как обычно рулит Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Comodo на высоте, что интересно, даже на стандартных настройках. С другой стороны Comodo свойственна излишняя параноидальность, может много беспокоить юзера - это как обратная сторона медали. Жаль не успели в этот раз технически проверить на ложные срабатывания. Было бы интересно посмотреть как лидеры отработают на легитимном софте.

[Mr. Justice 771]

amid525, здесь не место для пиара отдельных продуктов и выяснения отношений. Не провоцируйте, пожалуйста, конфликтные ситуации. Предлагаю сосредоточиться на обсуждении результатов теста.

[Aviralover 10]

По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) ))

[Valery Ledovskoy 1082]

Если Comodo пароноидален, значит, нужно это учитывать. В технологиях детектирования вредоносных программ эти две стороны медали тоже существуют: процент детекта и количество ложных срабатываний. Причём за каждое ложное срабатывания в комплексных тестах антивирусов обычно накладываются весьма большие штрафные баллы. Поэтому на результаты Comodo следует смотреть с некоторой долей скептицизма. Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов Т.е.: обращайте внимание на звёздочки и сноски и на ложные срабатывания.

Кстати, удивляют результаты не сильно распространённого у нас PC Tools на максимальных настройках. Что по поводу ложняков и сообщений на каждый чих у него, кто в курсе? Дальше идёт традиционно сильный Outpost. Хороший продукт, имеющий большую поддержку у российских пользователей. Результаты BitDefender снова удивляют. Видно, что файерволл у них достаточно неплох. Ну, и ниже по табличке видно, что на стандартных настройках Касперский и Dr.Web равны. Весьма интересный результат, ибо на максимальных настройках тот же Касперский наверняка достаёт лишними сообщениями. А на стандартных настройках эти два файрволла, один из которых начал разрабатываться значительно раньше, достигает тех же результатов, что и относительный новичок - Dr.Web Firewall.

Очень интересный тест в том плане, что результаты не объединялись, и можно сделать поэтому много выводов, ответить на множество вопросов. Спасибо за проделанную работу

Или вы ставите под сомнения тесты АМ?

В этом нет ничего плохого на самом деле, если делать это конструктивно, а не использовать маты и междометия

То, что не показаны ложные срабатывания - это недостаток теста. Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Но, возможно, этот недостаток в будущем будет разрулен, и мы сможем снова вернуться к этим диаграммам и табличкам.

[SBond 253]

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

[amid525 67]

То, что не показаны ложные срабатывания - это недостаток теста.

Может и так.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Пока, не аргумент.. )

[Aviralover 10]

Пардон. Подумал, что амид имел ввиду компанию Касперского (помню как один юзер компанию КОмодо обозвал д....моконторой, у него в подписи что он евляется работником/фанам агнитума не помню). Еще интересный результат Есета, токого не ожидал (опять же по сравнению с Матоусеком). А нащет техподержки на родном языке.... На моем радном языке даже в форумах помощи не получил бы. Да и сам сижу на англиском (и Авира, и Комодо, и Сандбокси). Не у всех ПО даже мой язык есть. И ничего, живу. Ребята, довайте обсуждать дружно.

[ntoskrnl 155]

Если Comodo пароноидален, значит, нужно это учитывать.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

[Mr. Justice 771]

Оффтопик выделен в отдельную тему http://www.anti-malware.ru/forum/index.php...mp;#entry139354

[Valery Ledovskoy 1082]

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

На Win7 достаточно мало свободного пространства для работы файерволлов, ибо в самой системе более сильные механизмы защиты.

Кроме того, доля WinXP по-прежнему велика.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Пока, не аргумент.. )

Неаргументированный контраргумент

ntoskrnl, ну, если так, то так. Но всё это, конечно, не повод кидаться сразу переходить на Comodo и DefenseWall. Данный тест отвечает на некоторые вопросы, но не является ответом на вопрос, какой файерволл лучше в целом. Продукты ранжированы согласно методологии. Анализа ложных срабатываний нет. Уровня противодействия внешним атакам пока что тоже нет. На более частные вопросы - да, ответить стало легче.

[Kopeicev 94]

По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) ))

Насколько я помню, были алерты когда приложение лезло в сеть.

[RuJN 21]

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Так можно и полезное заблокировать а пользователь будет думать, чего хоть у него скаченное не запускается

[Kopeicev 94]

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

А XP защищать от атак сложнее Смысл в том, что под семёрку пока мало методов атак, по сравнению с XP. Мы считаем, что по настоящему "боевая обстановка" для фаервола - дырявая система.

[Killer 55]

Что и требовалось доказать. За проведение теста - спасибо!

"Если нет разницы - зачем платить больше? "

[KIS_fan 17]

Что было принято для достежения "максимальных настройяк" в КИС ?

[Сергей Ильин 1538]

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Верно, если посмотреть подробный отчет, то видно что там везде чистые плюсы, а это значит что алептов не было. Если бы алерты были, то автоматом срезалось бы по пол балла согласно методологии, так пострадали многие.

Другое дело, что Комодо может ругаться при устновке нового софта, плагинов и тп. Даже почти на 100% будет ругаться, в то время как другие продукты рангом пониже в данном тесте дадут поставить софт спокойно и не будут пугать юзера. Именно поэтому я бы с осторожностью рекомендовал продукты лидеры начинающим юзерам. Может быть как в анекдоте, и разобьют и руки порежут

[Илья Рабинович 521]

Из текста: "по совей логике". Всё совее и совее наша логика.

Мдя, комментарий Олега Ишанова, представляющих "спасателей всея мира", конечно, порадовал. "Мы не смогли спасти мир, зато мы лучше других таких же горе-спасателей, как и мы сами".

[Сергей Ильин 1538]

Хочу выразить большую личную благодарность всем, кто помогал в проведении этого теста. Год назад была просто идея, которую мы обсуждали на экспертном совете. Удалось найти грамотных программистов (спасибо eSage Labs), были пробные тестирования, доводка методологии уже буквально на ходу и наконец сам тест (Слава Копейцев просто монстр!), затем длительная обработка результатов, посту правильного варианта.

На всех этих этапах нас поддерживали и подгоняли много людей, большое спасибо всем! Мы чувствовали ответсвенность и ожидания сообщества. Скажу точно, без вас мы бы не справились! В обсуждениях были выработаны ключевые вещи, я лично многое для себя из них подчеркнул. Корректировки вносились в текст буквально до последнего, вчера в 3 часа ночи работал не один человек

Уверен, что тест пока не идеален. Есть идеи на будущее, например, делать проверку на ложные срабатывания, добавить новые методы и тп. Но тест ИМХО получился и это радует.

P.S. Благодарю отдельно тех нескольких человек, кто делал материальные пожертвования на данный тест. Деньги получены и потрачены по назначению

Буду рад услышать любые ваши конструктивные замечания и предложения на будущее!

[Kopeicev 94]

Что было принято для достежения "максимальных настройяк" в КИС ?

Включена галка интерактивный режим.

[SDA 750]

Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

Если не настроите фаервол семерки в режиме повышенной безопасности то результат сильно от ХР отличаться не будут. Кстати, по тестам Паула в фаере семерки svchost разделяется по функциям. То есть ему можно разрешить выйти за автоматическими обновлениями, но запретить (или не задать) других функций (=служб) и они будут блокироваться. Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

[Илья Рабинович 521]

Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Ну, положим, это не совсем так...