Перейти к содержанию
Сергей Ильин

Тест фаерволов на защиту от внутренних атак (результаты)

Recommended Posts

Сергей Ильин
Почему одному можно блочить ВСЕ и получать за это 100%, а другим ай-яй-яй и извольте бороться ?

Если ты про DefenceWall и Comodo, то тогда их вообще не нужно было тестировать. Но это было бы неправильно. В результатах теста мы видим противостояние различных подходов к защите. Не нам в данном случае судить как лучше - блокировать все подряд, что прямо не разрешено, или же разбирать каждый эпизод отдельно и принимать решение на основании сложного анализа.

Если эту мысль стоит отразить в выводах к тесту - ок, давайте сделаем это.

PS: Все вопросы озвучил Илье и Александру Шабановым еще 26 августа в СПб, по факту от них просто отмахнулись.

Это не так, все пожелания были проработаны, опасения проверены. С тем же DefenceWall методология была сильно уточнена. На счет гуя я говорил, специально ставили плюс, так как фактически атака не прошла в тех случаях. Нотдаже если там и срезать по паре баллов, это ни на что ровным счетом не повлияет.

Тулзы мы выкладивать не будем, по крайней мере пока.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat
После изучения статистики по методам используемые вредоносами в список весов вошла только эта функция

Хотелось бы увидеть эту статистику, иначе нельзя сделать правильного вывода о возможностях продуктов. Я хочу знать, 40 методов сколько % вредоносов покрывают, насколько распространены конкретные методики? К примеру, куча продуктов пропустили тест "IECreateProcess". Ну и что это означает в практическом смысле? То ли сейчас идет волна вредоносов с этой функцией и ловятся они каждый день сотнями, то ли год назад был один дохлый семпл и то пойманный в Занзибаре.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
anip
То есть, имеем три режима: доверенный- недоверенный- недоверенный "максимальный".

Ну, тогда, например, у фаера Agnitum Outpost SS вообще 5 режимов.

Как три диапазона работы продукта правильно впихнуть в двухдиапазонную систему награждения?

Неужели надо было 5 диапазонов тестирования-награждения делать?

Тем более, что просто смешно читать подобные рассуждения на фоне убогих результатов лицензированного Агнитумом унылого Г. в тесте на лечение активного заражения: http://www.anti-malware.ru/taxonomy/term/301

Вообще-то там, кроме AOSS ещё 11 продуктов провалили тест. Они все УГ? А с Сomodo как, УГ или супер-пупер?

А в обсуждаемом тестировании у AOSS при стандартных настройках 5 место, а при максимальных - 3 место. Как-то не тянет на УГ.

Кстати вопрос к тестировщикам: интересно, стандартные настройки фаера AOSS - это был режим обучения, а максимальные - режим блокировать всё?

...

А вообще тест по-любому интересный. жаль, конечно, что не было указано, какие настройки в тестировании были стандартными у продуктов, какие максимальными.

А, в общем, результаты теста получились вполне ожидаемыми, если принимать во внимание тесты от Матюшека. Порадовал фаер Dr.Web - весьма неплохо для начала.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Продолжение будет реализовано на этой же конфигурации? Или ОСь посвежее? С этими же версиями продуктов? Или всё же с актуальными?

Короче, это будет продолжение первой части, или независимый подход?

Ось, думаю будет та же. Т.к. ОСь нужна дырявая = XP. Версии продуктов будут браться актуальные, на момент начала тестирования.

Это не есть проверка нормальной работы HIPS продукта.

В числе проверок были и проверки разграничения приложений по группам (может ли продукт в таком состоянии, например создать правило для приложения и ограничивать его действия), как ещё проверять HIPS? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
А, в общем, результаты теста получились вполне ожидаемыми, если принимать во внимание тесты от Матюшека. Порадовал фаер Dr.Web - весьма неплохо для начала.

FW у Доктора имеет довольно долгую историю, до того, как был лицензирован. Поэтому как продукт он не для начала. Для начала - это наличие такой сборки от Доктора

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
anip
А в обсуждаемом тестировании у AOSS при стандартных настройках 5 место, а при максимальных - 3 место. Как-то не тянет на УГ.

Извините, при max - тоже пятое (не так глянул). Но всё-равно не отстающий.

FW у Доктора имеет довольно долгую историю, до того, как был лицензирован. Поэтому как продукт он не для начала. Для начала - это наличие такой сборки от Доктора

Ну, с историей, как простой пользователь, я не знаком, а fw появился у ДокВеба в продуктах относительно недавно. Поэтому для простых юзеров - недавно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Кстати вопрос к тестировщикам: интересно, стандартные настройки фаера AOSS - это был режим обучения, а максимальные - режим блокировать всё?

Настройки по умолчанию - это те настройки, с которыми ставится продукт т.е. у Аутпоста - режим обучения.

Как максимальные настройки использовался режим блокировки, есть ещё режим блокировать всё, но его тестировать бессмысленно т.к. это будет всё равно, что просто написать тулзу, которая отключает интернет соединение. Результат тот же - вся активность без разбора заблокирована.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Как максимальные настройки использовался режим блокировки, есть ещё режим блокировать всё, но его тестировать бессмысленно т.к. это будет всё равно, что просто написать тулзу, которая отключает интернет соединение.

Тот же результат, что и для Комода? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
эх

Не-не, Дэвид Блейн. Ты начал- так давай заканчивай. Какие именно продукт ты обвиняешь в блокировке тестовых семплов на запуск? На каком основании?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev
Тот же результат, что и для Комода? :)

Не совсем, Комодо не блокиет вобще всю активность, там просто очень строгие ограничения, но это другое.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Maratka
Если эту мысль стоит отразить в выводах к тесту - ок, давайте сделаем это.

Только лучше не к выводам, а к предисловию.

Скажем потому, что красивые графики с результатом тестирования сразу режут глаз.

И почему-то кажется, что достаточно много людей дальше этих графиков читать не будет.

Т.е. получат красивые цифры, но не будут знать и чего с этими цифрами делать, да и просто и как они соотносятся с их стилем работы за компьютером.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SySOPik

Спасибо за тест. Удобно, лаконично, просто. Сразу в табличке видно различия между максимальными настройками и дефолтом, причем у разных продуктов.

Жаль началась очередная разборка между победившими и проигравшими, даже учитывая то что тест первый и не все идеально.

PS. Не пойму, с чего опять классический срач Комодо VS Аутпост, оба продукта выступили достойно, лучше большинства конкурентов. Плюсы/минусы их и так давно известны, смысл ???

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Не-не, Дэвид Блейн. Ты начал- так давай заканчивай. Какие именно продукт ты обвиняешь в блокировке тестовых семплов на запуск? На каком основании?

Меня интересует вопрос - на каком основании для DW запуск тестовых утилит производился из "недоверенной" зоны?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Меня интересует вопрос - на каком основании для DW запуск тестовых утилит производился из "недоверенной" зоны?

Ты не доехал в Питер, где Илья Шабанов заявил, что методология таки должна быть одна для всех, и DW получит 0% для "доверенной" зоны. Вернувшись в Москву, он вернулся к первоначальному мнению.

Запусти с флешки что угодно, и наш (да и ваш, вроде бы) продукт вынесет любую мальвару или ее имитацию по умолчанию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Меня интересует вопрос - на каком основании для DW запуск тестовых утилит производился из "недоверенной" зоны?

Илья, пока ты не начал строчить очередной текст об "особенностях" работы - я тебе уточняю что вопрос уже сугубо риторический.

Мы все прекрасно знаем, что при запуске из доверенной зоны твой продукт получит НОЛЬ процентов и в рамках экспертного совета все уже миллион раз было пережевано (администрации возможно стоит открыть тот топик для всех ?)

Администрация не вняла голосу разума, и решила не публиковать твои результаты для такого режима.

Я продолжаю считать, что это неправильно, потому что мы тут проверяли методы обхода фв, а не "особенности" фв и результат в НОЛЬ процентов должен быть отражен публично, просто потому что никаких технологий защиты от тестируемых _методов_ - у тебя нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
anip
Как максимальные настройки использовался режим блокировки, есть ещё режим блокировать всё, но его тестировать бессмысленно т.к. это будет всё равно, что просто написать тулзу, которая отключает интернет соединение. Результат тот же - вся активность без разбора заблокирована.

А, ну, значит, если быть точным, то, по крайней мере, для AOSS не на максимальных.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Флейм и оффтопик перемещен. Сообщения Виталика и ответы на его сообщения удалены.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Действиеьльно в Питере мы обсуждали, что будет у DW результат один для довернной и один для недоверенной зоны. Даже сделан был вариант отчета уже, где стояли 0 и 100% соответственно, я не буду скрывать. Виталий его видел например. Но потом уже играясь с финальной выдачей стало понятно, что такая подача только еще больше путает. Давайте тогда и у других запускать тестовые проги как доверенные. У скольких еще будет ноль или почти ноль? Тогда надо было изначально решить как мы поступает при выборе настроек в случае, если продукт умеет работать с репутацией приложений. А так была бы каша, у одним мы меняем настройки, а у других - запихиваем утилиты в доверенные. Сами же и запинали тест первыми. Поэтому было принято волевое решение, у DW четко написано, что результаты эти для untrusted zone. В самом начале прямо статьи в таблице. Имхо это самый правильный выход из этой сложной ситуации, иначе проще его вообще в такие тесты не брать.

Kopeicev, большая просьба выложить инфу по настройками тех продуктов, по которым люди спрашивали, у тебя должна она быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Это первый тест такого рода, поэтому не исключены какие-то ошибки и неточности. Это естественно и нормально. Полагаю, что методология проведения теста и сам процесс тестирования в будущем будет совершенствоваться с учетом специфики теста и поступивших замечаний. В любом случае, проведение такого сложного и противоречивого теста - большое событие для нашего портала. Начало положено, и это главное. Не думаю, что нужно сразу требовать от организаторов теста и инженеров высшего пилотажа. Обиды и деструктивная критика здесь неуместны. А вот конструктивные замечания должны приветствоваться.

Что касается СМИ, то можно как-то заранее предупредить журналистов о том, что сноски и примечания к материалам теста должны также доводиться до читателя. Представители вендоров всегда могут проверить как выполняется это требование. Вендоры также могут предоставить свои официальные комментарии, о необходимости публикации которых также можно предупредить СМИ.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

небольшие важные сноски вполне можно затолкать в само изображение (на график/диаграмму), тогда у СМИ просто варианта не будет, не будут же изображение резать, а вам без разницы особой - что текст будет ниже в штмл тегах, что он будет на изображении...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zzkk
большая просьба выложить инфу по настройками тех продуктов, по которым люди спрашивали, у тебя должна она быть.

Было бы очень полезно узнать кто какие настройки считает "максимальными". В смысле, сравнить свое представление об оных с мнением тестировщиков(/=вендоров).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kopeicev

Для всех продуктов, где были спорные моменты, например с настройкой KIS или Аутпоста были даны комментарии по поводу максимальных настроек. По каким продуктам ещё есть вопросы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Chekm
Для всех продуктов, где были спорные моменты, например с настройкой KIS или Аутпоста были даны комментарии по поводу максимальных настроек. По каким продуктам ещё есть вопросы?

Comodo, Online Armor

У Online Armor любое приложение можно запустиь с пониженными правами, по сути без админских прав и в доп настройках защитить от исполнения удаленного кода и т. д.

Что делалось?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
По каким продуктам ещё есть вопросы?

PC Tools, BitDefender, F-Secure, DrWeb

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×