Сергей Ильин

Тест фаерволов на защиту от внутренних атак (результаты)

В этой теме 240 сообщений

Друзья, вот и случился этот долгожданные момент. Мы опубликовали результаты нового теста. Этот тест для нас не просто один из новых, он серьезно расширяет линейку наших тестов и открывает для нас новые возможности.

Тест фаерволов первоначально задумывался как один единый, но при рассмотрении вопроса более детально мы поняли, что есть две большие задачи:

1. Сравнение защиты от внешних атак

2. Сравнение защиты от внутренних атак

Мы решили начать с бОльшей части - внутренних атак. В ближайшее время мы начинаем делать вторую часть - сравнение защиты от внешних атак. Есть концепт, нужно лишь уточнить и доработать некоторые детали методологии.

Напомню, что мы решили не суммировать результаты на различых настройках, так что каждый фаервол может получить от 0 до 2 медалей. Рекомендую перед чтением результатов ознакомиться с этими статьями

Методология теста http://www.anti-malware.ru/node/4604

Описание схемы награждения http://www.anti-malware.ru/node/4605

*********************************

Итак, результаты теста.

firewall_op_test.PNG

http://www.anti-malware.ru/firewall_test_o...protection_2011

Результаты теста фаерволов на стандартных настройках

firewall1_1.png

Результаты теста фаерволов на максимальных настройках

firewall2_0.png

Сводные результаты теста фаерволов на стандартных и максимальных настройках

firewall3_0.png

Подробности можно посмотреть в отчете о тестировании в формате Excel

http://www.anti-malware.ru/files/Firewall_...lts_2011_pb.xls

post-4-1315638430_thumb.png

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Спасибо за тест. Молодцы. Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках. Поздравляю автора Дефенсвола с победой. Авираловер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Comodo как обычно рулит :) Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Microsoft - это тут встроенный брандмауер Windows?

Да, это встроенный фаервол + Microsoft Security Essencials, использовалась связка.

Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках.
Comodo как обычно рулит Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Comodo на высоте, что интересно, даже на стандартных настройках. С другой стороны Comodo свойственна излишняя параноидальность, может много беспокоить юзера - это как обратная сторона медали. Жаль не успели в этот раз технически проверить на ложные срабатывания. Было бы интересно посмотреть как лидеры отработают на легитимном софте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

amid525, здесь не место для пиара отдельных продуктов и выяснения отношений. Не провоцируйте, пожалуйста, конфликтные ситуации. Предлагаю сосредоточиться на обсуждении результатов теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) :)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если Comodo пароноидален, значит, нужно это учитывать. В технологиях детектирования вредоносных программ эти две стороны медали тоже существуют: процент детекта и количество ложных срабатываний. Причём за каждое ложное срабатывания в комплексных тестах антивирусов обычно накладываются весьма большие штрафные баллы. Поэтому на результаты Comodo следует смотреть с некоторой долей скептицизма. Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов :) Т.е.: обращайте внимание на звёздочки и сноски и на ложные срабатывания.

Кстати, удивляют результаты не сильно распространённого у нас PC Tools на максимальных настройках. Что по поводу ложняков и сообщений на каждый чих у него, кто в курсе? Дальше идёт традиционно сильный Outpost. Хороший продукт, имеющий большую поддержку у российских пользователей. Результаты BitDefender снова удивляют. Видно, что файерволл у них достаточно неплох. Ну, и ниже по табличке видно, что на стандартных настройках Касперский и Dr.Web равны. Весьма интересный результат, ибо на максимальных настройках тот же Касперский наверняка достаёт лишними сообщениями. А на стандартных настройках эти два файрволла, один из которых начал разрабатываться значительно раньше, достигает тех же результатов, что и относительный новичок - Dr.Web Firewall.

Очень интересный тест в том плане, что результаты не объединялись, и можно сделать поэтому много выводов, ответить на множество вопросов. Спасибо за проделанную работу :)

Или вы ставите под сомнения тесты АМ?

В этом нет ничего плохого на самом деле, если делать это конструктивно, а не использовать маты и междометия :)

То, что не показаны ложные срабатывания - это недостаток теста. Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Но, возможно, этот недостаток в будущем будет разрулен, и мы сможем снова вернуться к этим диаграммам и табличкам.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
То, что не показаны ложные срабатывания - это недостаток теста.

Может и так.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.
Пока, не аргумент.. )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Пардон. Подумал, что амид имел ввиду компанию Касперского (помню как один юзер компанию КОмодо обозвал д....моконторой, у него в подписи что он евляется работником/фанам агнитума не помню). Еще интересный результат Есета, токого не ожидал (опять же по сравнению с Матоусеком). А нащет техподержки на родном языке.... На моем радном языке даже в форумах помощи не получил бы. Да и сам сижу на англиском (и Авира, и Комодо, и Сандбокси). Не у всех ПО даже мой язык есть. И ничего, живу. Ребята, довайте обсуждать дружно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если Comodo пароноидален, значит, нужно это учитывать.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов :)

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

На Win7 достаточно мало свободного пространства для работы файерволлов, ибо в самой системе более сильные механизмы защиты.

Кроме того, доля WinXP по-прежнему велика.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Пока, не аргумент.. )

Неаргументированный контраргумент :)

ntoskrnl, ну, если так, то так. Но всё это, конечно, не повод кидаться сразу переходить на Comodo и DefenseWall. Данный тест отвечает на некоторые вопросы, но не является ответом на вопрос, какой файерволл лучше в целом. Продукты ранжированы согласно методологии. Анализа ложных срабатываний нет. Уровня противодействия внешним атакам пока что тоже нет. На более частные вопросы - да, ответить стало легче.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) :)))

Насколько я помню, были алерты когда приложение лезло в сеть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Так можно и полезное заблокировать :) а пользователь будет думать, чего хоть у него скаченное не запускается :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

А XP защищать от атак сложнее ;) Смысл в том, что под семёрку пока мало методов атак, по сравнению с XP. Мы считаем, что по настоящему "боевая обстановка" для фаервола - дырявая система.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Что и требовалось доказать. За проведение теста - спасибо!

"Если нет разницы - зачем платить больше? :lol: "

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Что было принято для достежения "максимальных настройяк" в КИС ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Верно, если посмотреть подробный отчет, то видно что там везде чистые плюсы, а это значит что алептов не было. Если бы алерты были, то автоматом срезалось бы по пол балла согласно методологии, так пострадали многие.

Другое дело, что Комодо может ругаться при устновке нового софта, плагинов и тп. Даже почти на 100% будет ругаться, в то время как другие продукты рангом пониже в данном тесте дадут поставить софт спокойно и не будут пугать юзера. Именно поэтому я бы с осторожностью рекомендовал продукты лидеры начинающим юзерам. Может быть как в анекдоте, и разобьют и руки порежут :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Из текста: "по совей логике". Всё совее и совее наша логика. :D

Мдя, комментарий Олега Ишанова, представляющих "спасателей всея мира", конечно, порадовал. "Мы не смогли спасти мир, зато мы лучше других таких же горе-спасателей, как и мы сами".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Хочу выразить большую личную благодарность всем, кто помогал в проведении этого теста. Год назад была просто идея, которую мы обсуждали на экспертном совете. Удалось найти грамотных программистов (спасибо eSage Labs), были пробные тестирования, доводка методологии уже буквально на ходу и наконец сам тест (Слава Копейцев просто монстр!:)), затем длительная обработка результатов, посту правильного варианта.

На всех этих этапах нас поддерживали и подгоняли много людей, большое спасибо всем! Мы чувствовали ответсвенность и ожидания сообщества. Скажу точно, без вас мы бы не справились! В обсуждениях были выработаны ключевые вещи, я лично многое для себя из них подчеркнул. Корректировки вносились в текст буквально до последнего, вчера в 3 часа ночи работал не один человек ;)

Уверен, что тест пока не идеален. Есть идеи на будущее, например, делать проверку на ложные срабатывания, добавить новые методы и тп. Но тест ИМХО получился и это радует.

P.S. Благодарю отдельно тех нескольких человек, кто делал материальные пожертвования на данный тест. Деньги получены и потрачены по назначению ;)

Буду рад услышать любые ваши конструктивные замечания и предложения на будущее!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Что было принято для достежения "максимальных настройяк" в КИС ?

Включена галка интерактивный режим.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

Если не настроите фаервол семерки в режиме повышенной безопасности то результат сильно от ХР отличаться не будут. Кстати, по тестам Паула в фаере семерки svchost разделяется по функциям. То есть ему можно разрешить выйти за автоматическими обновлениями, но запретить (или не задать) других функций (=служб) и они будут блокироваться. Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Ну, положим, это не совсем так...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Обновляю: https://mega.nz/#!0FYBnRzT!Kh8GaRMVOzm99QJZX0NsDD51vDaFzPI-Vil02kw53rQ
    • Sergey22101979s
      Площадку надо свою делать и развивать её. А потом продавать места на ней. И не важно какую площадку - сайт, группу в соцсети, или что-то тому подобное.
    • homeobed
      На дому за копейки работать - дело нехитрое) Вот чтобы зарабатывать приличные деньги, на одних комментариях далеко не уедешь)
    • Mike
      Вышел McAfee VirusScan Enterprise 8.8.0 Patch 10  
    • Wenderoy
      Да, лучше удалить. Но это, разумеется, решает администрация... Я никакой не тролль, ANDYBOND прекрасно это понимает, просто именно с ним был разлад безо всякой причины, подробности приводить не буду, но теперь он старается как можно больше "навредить" мне. Собственно, вот отзывы про PS - https://www.mywot.com/ru/scorecard/provisionsecurity.ru Думаю, комментарии будут излишними. Есть очень много свидетелей, которых "примерная" администрация Provisionsecurity даже "поливала" нецензурной лексикой, у меня есть все скриншоты и т. д. И после всего этого надо подумать, а стоит ли верить таким людям? Это я в качестве отступления. Главное - то, что я устал здесь распинаться, тратя свое личное время, что идет только на руку уже упомянутым участниками форума. Все, что мне надо было доказать, я доказал, пользователи моего приложения знают и понимают мои цели и стремления, я ни от кого ничего не скрываю. Поэтому программу уже используют многие, а это значит, что дело поставлено на рельсы. Самое смешное, что на каждый мой аргумент, который я не поленился снабдить всей необходимой информацией в форме ссылок, скриншотов, записей, копий писем, сообщений лабораторий etc, в ответ мне летят одни и те же фразы: "мошенник", "вирусописатель", "тролль". Так кто же больше попадает под значение последнего слова? Просто упомяну еще пару вещей. Когда я объяснял, почему продукт детектит пустой файл, все равно меня никто не слышал. Каким же, интересно, образом мне следует растолковать это? Были приведены доказательства, что я часть баз собираю с ресурса VirusShare (благо, имеются очень хорошие источники самой разнообразной информации), где AVP в свое время почему-то пометил файл как Trojan... (где-то на предыдущих страницах все чрезвычайно подробно описано). Так вот, копируя MD5, в комплект попала и хеш-сумма пустого файла, вследствие чего как бы Вы его ни переименовывали, все рано будет сработка продукта (кстати, ее уже нет). Далее. Насчет "мошенник" и "вирусописатель". Если зимние переписки (не просто отчетов автоматического анализа лабораторий) с вирусным аналитиком McAfee ни о чем Вам не говорят, это, как говорится, не мои проблемы. Другие вендоры, да практически все (даже популярные Avast, Qihoo и др.) устанавливаются втихомолку вместе с другим ПО (DRP Solutions, различные дополнения для монетизации в пакеты дистрибутивов), но их Вы почему-то "вирусописателями"  не называете. И последнее. Насчет "мошенник". Я никого не принуждаю устанавливать KAR, каждый делает это добровольно. Лицензионное соглашение и Privacy Statment присутствуют на сайте, там все четко и ясно описано. На сервер высылаются исключительно анонимные отчеты, как и в любых других разработках аналогичного типа, не более того.  Kuranin Anti-Ransomware распространяется абсолютно бесплатно, никакой рекламы ни в продукте, ни даже на сайте, т. к. это мое хобби. Поэтому здесь не вижу ничего, связанного с мошенничеством. Это очень краткое обобщение, все мои подробные ночные отписки на однотипные бессмысленные сообщения можно посмотреть, листая предыдущие ни много ни мало двенадцать страниц. @VMS, радует, что еще есть адекватные люди, которые умеют слушать. Да, к сожалению, это не те времена, когда жизнь кипела в каждом уголке Anti-Malware и других подобных форумов. Обидно, что перевились разработчики-добровольцы, которые были очень активны в 2004-2014 годах. Сейчас в основном крупные компании все вытеснили, да есть те, кто просто сдался (Александр Калинин, его судьба мне не известна, но смею предположить, что он воплотил свое хобби в жизнь; Kerish, который, правда, стал чрезвычайно полезной утилитой Kerish Doctor, а ведь совсем немногие знают прошлое этого творения; ScreamAV, бесплатныq антивирус то ли из Индонезии, то ли с Филиппин; путем долгого анализа удалось выяснить, что создатели данного антивируса примкнули к проекту SmadAV;  SMK антивирус, когда-то известный в узких кругах; "Зоркий глаз" Петелина Александра;  AWS Core, приостановивший свое развитие и т. п.) Вообще обожаю древние сайты, особенно варианты на narod.ru и им подобные, пропахшие стариной и историей. Очень приятные ощущения, как будто бы открыл давно забытую, но вновь найденную на чердаке книгу с пожелтевшими от времени листами.  А еще очень много полезных ресурсов, которых уже нет, но они сохранились в "архиве". Все это "богатство" сложно отыскать, но зато там есть чрезвычайно много полезной информации... Вот, кстати, один из примеров: https://web.archive.org/web/20040905203536/http://www.winchanger.narod.ru:80/ Или https://web.archive.org/web/20070624081145/http://winchanger.whatis.ru:80/ Как бонус прилагаю собственную коллекцию малоизвестных продуктов любителей информационной безопасности, среди них, кстати, все вышеупомянутые образцы! https://mega.nz/#!tZBkkCKa!0WzfYt4A1zK4aCvVLtu3FLt7pfPIp7wWtyPIr9c-cbo Может, кому пригодится...