Перейти к содержанию
Сергей Ильин

Тест фаерволов на защиту от внутренних атак (результаты)

Recommended Posts

Сергей Ильин

Друзья, вот и случился этот долгожданные момент. Мы опубликовали результаты нового теста. Этот тест для нас не просто один из новых, он серьезно расширяет линейку наших тестов и открывает для нас новые возможности.

Тест фаерволов первоначально задумывался как один единый, но при рассмотрении вопроса более детально мы поняли, что есть две большие задачи:

1. Сравнение защиты от внешних атак

2. Сравнение защиты от внутренних атак

Мы решили начать с бОльшей части - внутренних атак. В ближайшее время мы начинаем делать вторую часть - сравнение защиты от внешних атак. Есть концепт, нужно лишь уточнить и доработать некоторые детали методологии.

Напомню, что мы решили не суммировать результаты на различых настройках, так что каждый фаервол может получить от 0 до 2 медалей. Рекомендую перед чтением результатов ознакомиться с этими статьями

Методология теста http://www.anti-malware.ru/node/4604

Описание схемы награждения http://www.anti-malware.ru/node/4605

*********************************

Итак, результаты теста.

firewall_op_test.PNG

http://www.anti-malware.ru/firewall_test_o...protection_2011

Результаты теста фаерволов на стандартных настройках

firewall1_1.png

Результаты теста фаерволов на максимальных настройках

firewall2_0.png

Сводные результаты теста фаерволов на стандартных и максимальных настройках

firewall3_0.png

Подробности можно посмотреть в отчете о тестировании в формате Excel

http://www.anti-malware.ru/files/Firewall_...lts_2011_pb.xls

post-4-1315638430_thumb.png

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aviralover

Спасибо за тест. Молодцы. Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках. Поздравляю автора Дефенсвола с победой. Авираловер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RuJN

Microsoft - это тут встроенный брандмауер Windows?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
demkd

Comodo как обычно рулит :) Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Microsoft - это тут встроенный брандмауер Windows?

Да, это встроенный фаервол + Microsoft Security Essencials, использовалась связка.

Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках.
Comodo как обычно рулит Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Comodo на высоте, что интересно, даже на стандартных настройках. С другой стороны Comodo свойственна излишняя параноидальность, может много беспокоить юзера - это как обратная сторона медали. Жаль не успели в этот раз технически проверить на ложные срабатывания. Было бы интересно посмотреть как лидеры отработают на легитимном софте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

amid525, здесь не место для пиара отдельных продуктов и выяснения отношений. Не провоцируйте, пожалуйста, конфликтные ситуации. Предлагаю сосредоточиться на обсуждении результатов теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aviralover

По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) :)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Если Comodo пароноидален, значит, нужно это учитывать. В технологиях детектирования вредоносных программ эти две стороны медали тоже существуют: процент детекта и количество ложных срабатываний. Причём за каждое ложное срабатывания в комплексных тестах антивирусов обычно накладываются весьма большие штрафные баллы. Поэтому на результаты Comodo следует смотреть с некоторой долей скептицизма. Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов :) Т.е.: обращайте внимание на звёздочки и сноски и на ложные срабатывания.

Кстати, удивляют результаты не сильно распространённого у нас PC Tools на максимальных настройках. Что по поводу ложняков и сообщений на каждый чих у него, кто в курсе? Дальше идёт традиционно сильный Outpost. Хороший продукт, имеющий большую поддержку у российских пользователей. Результаты BitDefender снова удивляют. Видно, что файерволл у них достаточно неплох. Ну, и ниже по табличке видно, что на стандартных настройках Касперский и Dr.Web равны. Весьма интересный результат, ибо на максимальных настройках тот же Касперский наверняка достаёт лишними сообщениями. А на стандартных настройках эти два файрволла, один из которых начал разрабатываться значительно раньше, достигает тех же результатов, что и относительный новичок - Dr.Web Firewall.

Очень интересный тест в том плане, что результаты не объединялись, и можно сделать поэтому много выводов, ответить на множество вопросов. Спасибо за проделанную работу :)

Или вы ставите под сомнения тесты АМ?

В этом нет ничего плохого на самом деле, если делать это конструктивно, а не использовать маты и междометия :)

То, что не показаны ложные срабатывания - это недостаток теста. Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Но, возможно, этот недостаток в будущем будет разрулен, и мы сможем снова вернуться к этим диаграммам и табличкам.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SBond

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
amid525
То, что не показаны ложные срабатывания - это недостаток теста.

Может и так.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.
Пока, не аргумент.. )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aviralover

Пардон. Подумал, что амид имел ввиду компанию Касперского (помню как один юзер компанию КОмодо обозвал д....моконторой, у него в подписи что он евляется работником/фанам агнитума не помню). Еще интересный результат Есета, токого не ожидал (опять же по сравнению с Матоусеком). А нащет техподержки на родном языке.... На моем радном языке даже в форумах помощи не получил бы. Да и сам сижу на англиском (и Авира, и Комодо, и Сандбокси). Не у всех ПО даже мой язык есть. И ничего, живу. Ребята, довайте обсуждать дружно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ntoskrnl
Если Comodo пароноидален, значит, нужно это учитывать.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов :)

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

На Win7 достаточно мало свободного пространства для работы файерволлов, ибо в самой системе более сильные механизмы защиты.

Кроме того, доля WinXP по-прежнему велика.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Пока, не аргумент.. )

Неаргументированный контраргумент :)

ntoskrnl, ну, если так, то так. Но всё это, конечно, не повод кидаться сразу переходить на Comodo и DefenseWall. Данный тест отвечает на некоторые вопросы, но не является ответом на вопрос, какой файерволл лучше в целом. Продукты ранжированы согласно методологии. Анализа ложных срабатываний нет. Уровня противодействия внешним атакам пока что тоже нет. На более частные вопросы - да, ответить стало легче.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) :)))

Насколько я помню, были алерты когда приложение лезло в сеть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RuJN
"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Так можно и полезное заблокировать :) а пользователь будет думать, чего хоть у него скаченное не запускается :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

А XP защищать от атак сложнее ;) Смысл в том, что под семёрку пока мало методов атак, по сравнению с XP. Мы считаем, что по настоящему "боевая обстановка" для фаервола - дырявая система.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Killer

Что и требовалось доказать. За проведение теста - спасибо!

"Если нет разницы - зачем платить больше? :lol: "

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
KIS_fan

Что было принято для достежения "максимальных настройяк" в КИС ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Верно, если посмотреть подробный отчет, то видно что там везде чистые плюсы, а это значит что алептов не было. Если бы алерты были, то автоматом срезалось бы по пол балла согласно методологии, так пострадали многие.

Другое дело, что Комодо может ругаться при устновке нового софта, плагинов и тп. Даже почти на 100% будет ругаться, в то время как другие продукты рангом пониже в данном тесте дадут поставить софт спокойно и не будут пугать юзера. Именно поэтому я бы с осторожностью рекомендовал продукты лидеры начинающим юзерам. Может быть как в анекдоте, и разобьют и руки порежут :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Из текста: "по совей логике". Всё совее и совее наша логика. :D

Мдя, комментарий Олега Ишанова, представляющих "спасателей всея мира", конечно, порадовал. "Мы не смогли спасти мир, зато мы лучше других таких же горе-спасателей, как и мы сами".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Хочу выразить большую личную благодарность всем, кто помогал в проведении этого теста. Год назад была просто идея, которую мы обсуждали на экспертном совете. Удалось найти грамотных программистов (спасибо eSage Labs), были пробные тестирования, доводка методологии уже буквально на ходу и наконец сам тест (Слава Копейцев просто монстр!:)), затем длительная обработка результатов, посту правильного варианта.

На всех этих этапах нас поддерживали и подгоняли много людей, большое спасибо всем! Мы чувствовали ответсвенность и ожидания сообщества. Скажу точно, без вас мы бы не справились! В обсуждениях были выработаны ключевые вещи, я лично многое для себя из них подчеркнул. Корректировки вносились в текст буквально до последнего, вчера в 3 часа ночи работал не один человек ;)

Уверен, что тест пока не идеален. Есть идеи на будущее, например, делать проверку на ложные срабатывания, добавить новые методы и тп. Но тест ИМХО получился и это радует.

P.S. Благодарю отдельно тех нескольких человек, кто делал материальные пожертвования на данный тест. Деньги получены и потрачены по назначению ;)

Буду рад услышать любые ваши конструктивные замечания и предложения на будущее!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Что было принято для достежения "максимальных настройяк" в КИС ?

Включена галка интерактивный режим.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

Если не настроите фаервол семерки в режиме повышенной безопасности то результат сильно от ХР отличаться не будут. Кстати, по тестам Паула в фаере семерки svchost разделяется по функциям. То есть ему можно разрешить выйти за автоматическими обновлениями, но запретить (или не задать) других функций (=служб) и они будут блокироваться. Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Ну, положим, это не совсем так...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×