Перейти к содержанию
Сергей Ильин

Тест фаерволов на защиту от внутренних атак (результаты)

Recommended Posts

Сергей Ильин

Друзья, вот и случился этот долгожданные момент. Мы опубликовали результаты нового теста. Этот тест для нас не просто один из новых, он серьезно расширяет линейку наших тестов и открывает для нас новые возможности.

Тест фаерволов первоначально задумывался как один единый, но при рассмотрении вопроса более детально мы поняли, что есть две большие задачи:

1. Сравнение защиты от внешних атак

2. Сравнение защиты от внутренних атак

Мы решили начать с бОльшей части - внутренних атак. В ближайшее время мы начинаем делать вторую часть - сравнение защиты от внешних атак. Есть концепт, нужно лишь уточнить и доработать некоторые детали методологии.

Напомню, что мы решили не суммировать результаты на различых настройках, так что каждый фаервол может получить от 0 до 2 медалей. Рекомендую перед чтением результатов ознакомиться с этими статьями

Методология теста http://www.anti-malware.ru/node/4604

Описание схемы награждения http://www.anti-malware.ru/node/4605

*********************************

Итак, результаты теста.

firewall_op_test.PNG

http://www.anti-malware.ru/firewall_test_o...protection_2011

Результаты теста фаерволов на стандартных настройках

firewall1_1.png

Результаты теста фаерволов на максимальных настройках

firewall2_0.png

Сводные результаты теста фаерволов на стандартных и максимальных настройках

firewall3_0.png

Подробности можно посмотреть в отчете о тестировании в формате Excel

http://www.anti-malware.ru/files/Firewall_...lts_2011_pb.xls

post-4-1315638430_thumb.png

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aviralover

Спасибо за тест. Молодцы. Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках. Поздравляю автора Дефенсвола с победой. Авираловер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RuJN

Microsoft - это тут встроенный брандмауер Windows?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
demkd

Comodo как обычно рулит :) Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Microsoft - это тут встроенный брандмауер Windows?

Да, это встроенный фаервол + Microsoft Security Essencials, использовалась связка.

Очень доволен тем, что пользуюсь Комодо (без АВ) на максимальнах настройках.
Comodo как обычно рулит Как его постоянный пользователь надеюсь, что его и в будущем будет трудно обмануть, а если доработают некоторые неприятные ляпы то станет совсем хорошо, все-таки это (на мой взгляд) еще и самый удобный для использования продукт.

Comodo на высоте, что интересно, даже на стандартных настройках. С другой стороны Comodo свойственна излишняя параноидальность, может много беспокоить юзера - это как обратная сторона медали. Жаль не успели в этот раз технически проверить на ложные срабатывания. Было бы интересно посмотреть как лидеры отработают на легитимном софте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

amid525, здесь не место для пиара отдельных продуктов и выяснения отношений. Не провоцируйте, пожалуйста, конфликтные ситуации. Предлагаю сосредоточиться на обсуждении результатов теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aviralover

По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) :)))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy

Если Comodo пароноидален, значит, нужно это учитывать. В технологиях детектирования вредоносных программ эти две стороны медали тоже существуют: процент детекта и количество ложных срабатываний. Причём за каждое ложное срабатывания в комплексных тестах антивирусов обычно накладываются весьма большие штрафные баллы. Поэтому на результаты Comodo следует смотреть с некоторой долей скептицизма. Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов :) Т.е.: обращайте внимание на звёздочки и сноски и на ложные срабатывания.

Кстати, удивляют результаты не сильно распространённого у нас PC Tools на максимальных настройках. Что по поводу ложняков и сообщений на каждый чих у него, кто в курсе? Дальше идёт традиционно сильный Outpost. Хороший продукт, имеющий большую поддержку у российских пользователей. Результаты BitDefender снова удивляют. Видно, что файерволл у них достаточно неплох. Ну, и ниже по табличке видно, что на стандартных настройках Касперский и Dr.Web равны. Весьма интересный результат, ибо на максимальных настройках тот же Касперский наверняка достаёт лишними сообщениями. А на стандартных настройках эти два файрволла, один из которых начал разрабатываться значительно раньше, достигает тех же результатов, что и относительный новичок - Dr.Web Firewall.

Очень интересный тест в том плане, что результаты не объединялись, и можно сделать поэтому много выводов, ответить на множество вопросов. Спасибо за проделанную работу :)

Или вы ставите под сомнения тесты АМ?

В этом нет ничего плохого на самом деле, если делать это конструктивно, а не использовать маты и междометия :)

То, что не показаны ложные срабатывания - это недостаток теста. Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Но, возможно, этот недостаток в будущем будет разрулен, и мы сможем снова вернуться к этим диаграммам и табличкам.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SBond

Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
amid525
То, что не показаны ложные срабатывания - это недостаток теста.

Может и так.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.
Пока, не аргумент.. )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Aviralover

Пардон. Подумал, что амид имел ввиду компанию Касперского (помню как один юзер компанию КОмодо обозвал д....моконторой, у него в подписи что он евляется работником/фанам агнитума не помню). Еще интересный результат Есета, токого не ожидал (опять же по сравнению с Матоусеком). А нащет техподержки на родном языке.... На моем радном языке даже в форумах помощи не получил бы. Да и сам сижу на англиском (и Авира, и Комодо, и Сандбокси). Не у всех ПО даже мой язык есть. И ничего, живу. Ребята, довайте обсуждать дружно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ntoskrnl
Если Comodo пароноидален, значит, нужно это учитывать.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это не то же самое, что 100% у DefenseWall. Но там вообще "стратегия наоборот" относительно стандартных файрволлов :)

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

На Win7 достаточно мало свободного пространства для работы файерволлов, ибо в самой системе более сильные механизмы защиты.

Кроме того, доля WinXP по-прежнему велика.

Поэтому высокие результаты отдельных продуктов можно подвергать большому сомнению.

Пока, не аргумент.. )

Неаргументированный контраргумент :)

ntoskrnl, ну, если так, то так. Но всё это, конечно, не повод кидаться сразу переходить на Comodo и DefenseWall. Данный тест отвечает на некоторые вопросы, но не является ответом на вопрос, какой файерволл лучше в целом. Продукты ранжированы согласно методологии. Анализа ложных срабатываний нет. Уровня противодействия внешним атакам пока что тоже нет. На более частные вопросы - да, ответить стало легче.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
По самомы тесту. Обратите внимание на некоторые сходста результатов с Матоусеком (Комодо, Онлаин армор, ОнлаинС, Агнитума, Битдефендера, ПС тулс.... Авира), и некоторые различия насчет Зоуналарма, Гдаты, Джетико и т.д. Так выходит, что Матоусек все таки не куплен Комодом? А насчет Касперского - тоже хорошый продукт. Нечего на его наезжать. А тепер вопрос: у Комодо песочница была включена? Какие алерты давал КОмодо? Только типа ,,меняется ключь " или ,,наша проактивка увидела потенциално опасные дествия" или даже алерт от Клауд сканера? Еще раз спасибо за тест (даже если Комодо его провалил-бы, все равно Фенкью, спасибо, мерси, данке, грасиас и молодцы - проделали такую агромнаю работу) :)))

Насколько я помню, были алерты когда приложение лезло в сеть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
RuJN
"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Это то же самое. Оба продукта исходят из разделения всего сущего на доверенное и недоверенное. К тому же в Комодо при желании настраивается всё так, как того захочет пользователь.Его вполне элементарно настроить так, что без песочницы он будет изолировать всё нежелательное молча.

Так можно и полезное заблокировать :) а пользователь будет думать, чего хоть у него скаченное не запускается :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

А XP защищать от атак сложнее ;) Смысл в том, что под семёрку пока мало методов атак, по сравнению с XP. Мы считаем, что по настоящему "боевая обстановка" для фаервола - дырявая система.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Killer

Что и требовалось доказать. За проведение теста - спасибо!

"Если нет разницы - зачем платить больше? :lol: "

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
KIS_fan

Что было принято для достежения "максимальных настройяк" в КИС ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Microsoft Windows XP SP3 - становится грустно, для кого эти тесты?

Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

"Параноидальность" Комодо уже можно относить к "городским легендам". С включенной песочницей он практически полностью обходится без алертов.

Верно, если посмотреть подробный отчет, то видно что там везде чистые плюсы, а это значит что алептов не было. Если бы алерты были, то автоматом срезалось бы по пол балла согласно методологии, так пострадали многие.

Другое дело, что Комодо может ругаться при устновке нового софта, плагинов и тп. Даже почти на 100% будет ругаться, в то время как другие продукты рангом пониже в данном тесте дадут поставить софт спокойно и не будут пугать юзера. Именно поэтому я бы с осторожностью рекомендовал продукты лидеры начинающим юзерам. Может быть как в анекдоте, и разобьют и руки порежут :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Из текста: "по совей логике". Всё совее и совее наша логика. :D

Мдя, комментарий Олега Ишанова, представляющих "спасателей всея мира", конечно, порадовал. "Мы не смогли спасти мир, зато мы лучше других таких же горе-спасателей, как и мы сами".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Хочу выразить большую личную благодарность всем, кто помогал в проведении этого теста. Год назад была просто идея, которую мы обсуждали на экспертном совете. Удалось найти грамотных программистов (спасибо eSage Labs), были пробные тестирования, доводка методологии уже буквально на ходу и наконец сам тест (Слава Копейцев просто монстр!:)), затем длительная обработка результатов, посту правильного варианта.

На всех этих этапах нас поддерживали и подгоняли много людей, большое спасибо всем! Мы чувствовали ответсвенность и ожидания сообщества. Скажу точно, без вас мы бы не справились! В обсуждениях были выработаны ключевые вещи, я лично многое для себя из них подчеркнул. Корректировки вносились в текст буквально до последнего, вчера в 3 часа ночи работал не один человек ;)

Уверен, что тест пока не идеален. Есть идеи на будущее, например, делать проверку на ложные срабатывания, добавить новые методы и тп. Но тест ИМХО получился и это радует.

P.S. Благодарю отдельно тех нескольких человек, кто делал материальные пожертвования на данный тест. Деньги получены и потрачены по назначению ;)

Буду рад услышать любые ваши конструктивные замечания и предложения на будущее!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Что было принято для достежения "максимальных настройяк" в КИС ?

Включена галка интерактивный режим.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Начали с этой устаревшей ОС как с наиболее проблемной с точки зрения безопасности. Естественно сделаем еще такой же на windows 7, но позже. Кстати забегая в перед там UAC будем отключать, и по опыту тестов на самозащиту результаты на этой ОС будут не так сильно отличаться. Ведь проактивна она или есть или ее нет.

Если не настроите фаервол семерки в режиме повышенной безопасности то результат сильно от ХР отличаться не будут. Кстати, по тестам Паула в фаере семерки svchost разделяется по функциям. То есть ему можно разрешить выйти за автоматическими обновлениями, но запретить (или не задать) других функций (=служб) и они будут блокироваться. Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Такого нет ни в одном из посторонних файрволах (у них как правило "всё или ничего" и svchost "доверен").

Ну, положим, это не совсем так...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Quincy
      Серёга Лысый известный балабол же
    • Александр Полиграф
      Проведение расследований с применением полиграфа. Выявление сотрудников "сливающих" информацию, осуществляющих попытки- получения данных, шпионаж, работа на конкурентов, сбор компромата и т.п. Осуществляем выезд к вам в офис. Гарантия конфиденциальности.  poligraf.msk.ru ПОЛИГРАФ МСК.pdf
    • PR55.RP55
      vesorv 1) С отключенным интернетом вы не сможете активировать лицензию на антивирус. а раз не сможете - то и не получите защиту. Значит активируем антивирус > Создаём образ системы и переносим его на внешний носитель. Получаем возможность проводить тестирование повторно. 2) Вам для тестирования не нужны "свежие" угрозы. Разработчик регулярно обновляет установочный пакет. Скажем за 2018 год вышла - 12 версия антивируса, затем вышла версия. 12.01> 12.02 > 12.03  и т.д. Интервал между версиями пару месяцев. За пару месяцев ничего принципиального и прорывного в защите не сделать. Установив вместо версии: 12.03  "устаревшую" версию 12.02 вы получите и устаревшую базу сигнатур вирусов. И здесь можно тестировать угрозы о которых антивирус не осведомлён. 3) Антивирус нужен для постоянной защиты. Установка не производиться на заражённую машину. так, как установочный пакет не предназначен для очистки системы. ( Да, в рекламных целях разработчик может написать, что есть такая возможность... Однако ) Вирус может повредить реестр, заблокировать работу Windows Installer, модифицировать критически важные системные файлы - система просто не будет работать должным образом. _Эффективная очистка возможна только на НЕ активной системе - при работе с Live CD или при загрузке с другой не заражённой системой. 4) Отключать нужно не только интернет  - но  и беспроводные блютус и Wi-Fi иначе вы рискуете получить заражение всех доступных устройств. 5) Многие вредоносные программы вы просто не сможете запустить. так, как могут быть ограничения на регион распространения  - тот кто заказывал разработку\модификацию например рассчитывает на атаку конкретной страны, банка. 6) По очистке и лечению. Это не одно и тоже. Есть антивирусы которые удаляют файлы\угрозы но при этом не очищают реестр от лишних записей. Удаление файла\угрозы без удаления записей может приводить к ошибкам в работе системы. Лечение файлов - здесь речь идёт прежде всего о файловых вирусах. Антивирус должен найти заражённый файл, найти нужный участок и очистить - причём очистить так, чтобы сохранилась работоспособность системы. Но очистка исполняемых файлов не имеет смысла - всё равно _современная система не сможет нормально работать так, как у файла не будет ЭЦП... а если критически важный  файл не пройдёт проверку на наличие ЭЦП то и система не запуститься... Единственно, что можно сделать - это заменить файл на оригинальный. А учитывая число файлов, разнообразие их версий  - это становиться нетривиальной задачей. Некоторые антивирусы\сканеры имеют архив с такими файлами ( для замены: EXPLORER.EXE; NTDETECT.COM; NTSD.EXE и т.д ) А большинство антивирусов таких архивов не имеет. 7) Вы не учитываете уровень ложных срабатываний\определений. Антивирус  может сработать на чистый файл. Значит нужно проверять систему ещё до работы с реальными угрозами. 8) Угроза, или нет ? Это философский вопрос. Здесь каждый разработчик решает сам - что является угрозой, а что нет. т.е. на файл ХХХ одни антивирус сработает - а другой антивирус на файл ХХХ не сработает. + Программы разработанные спец. службами например страна ****а разработала вирус с целью нарушения работы оборудования, в целях шпионажа, получения удалённого доступа. Разве разработчики антивирусов находящиеся под её юрисдикцией будут искать эту угрозу ? 9) Легальные шпионские программы - одни антивирусы их будут находить, а другие антивирусы их находить не будут. Под легальными нужно понимать такие компоненты системы которые устанавливает разработчик оборудования - мониторинг - обнаружение украденного оборудования - диагностические отчёты. т.е. антивирусы по умолчанию находятся вне равных условий. 10) У всех разное железо - и производитель распространяет установщики  с некими средними настройками - чтобы на старых\слабых PC не наблюдалось зависание. С разными настройками эвристики будет  разная  скорость\эффективность работы. Значит нужно, или тестировать всё по умолчанию, или накручивать параметры на максимум. Нужно будет оценивать стабильность работы системы после внесения изменений в работу антивируса. 11) Куда ушли ?  Да куда угодно. Потеряли интерес, стало больше информации и меньше времени на её обсуждение. Помните песню: " Куда уехал цирк ? он был ещё вчера " https://www.comss.ru/page.php?id=5777 Дело в том, что всё уже давно обсудили, и вся информация есть в сети. а все эти _публичные тестирования ( как бы это помягче сказать... ) Средняя температура по больнице в норме !    
    • vesorv
      1. На жесткий диск загружаются дистрибутивы антивирусов и "свежие" вредоносные программы (только те, которые не обнаруживает сканер антивируса, то есть кнопочка эта в антивирусе называется "выборочная проверка файлов"), работающие без интернета. 2. На операционной системе запускают вредоносные программы (антивирус не установлен) и убеждаются в том, что они работают. 3. На чистую операционную систему из дистрибутива устанавливают антивирус, отключают интернет, и запускают вредоносные программы. Записывают все действия антивируса - сколько угроз обнаружил, когда обнаружил, какой компонент обнаружил, проводил ли антивирус лечение, что изменилось в системе после лечения. Потом ставят другой антивирус на чистую систему и проводят те же операции.  Данный тест покажет способность антивирусов защищать от угроз и лечить систему без использования облака. Насколько данный тест отображает реальные возможности (то есть с применением облака) защиты антивирусов от новейших угроз и лечения системы от действий вредоносных программ ? Раньше на форуме было относительно много людей, которые обсуждали интерестные темы (в том числе эксперты). Куда ушли эти люди, где они сейчас общаются, на каких интернет-площадках ?
    • Deniis
×