Тест фаерволов на защиту от внутренних атак (результаты)

[Сергей Ильин 1538]

Почему одному можно блочить ВСЕ и получать за это 100%, а другим ай-яй-яй и извольте бороться ?

Если ты про DefenceWall и Comodo, то тогда их вообще не нужно было тестировать. Но это было бы неправильно. В результатах теста мы видим противостояние различных подходов к защите. Не нам в данном случае судить как лучше - блокировать все подряд, что прямо не разрешено, или же разбирать каждый эпизод отдельно и принимать решение на основании сложного анализа.

Если эту мысль стоит отразить в выводах к тесту - ок, давайте сделаем это.

PS: Все вопросы озвучил Илье и Александру Шабановым еще 26 августа в СПб, по факту от них просто отмахнулись.

Это не так, все пожелания были проработаны, опасения проверены. С тем же DefenceWall методология была сильно уточнена. На счет гуя я говорил, специально ставили плюс, так как фактически атака не прошла в тех случаях. Нотдаже если там и срезать по паре баллов, это ни на что ровным счетом не повлияет.

Тулзы мы выкладивать не будем, по крайней мере пока.

[A. 876]

эх

[strat 275]

После изучения статистики по методам используемые вредоносами в список весов вошла только эта функция

Хотелось бы увидеть эту статистику, иначе нельзя сделать правильного вывода о возможностях продуктов. Я хочу знать, 40 методов сколько % вредоносов покрывают, насколько распространены конкретные методики? К примеру, куча продуктов пропустили тест "IECreateProcess". Ну и что это означает в практическом смысле? То ли сейчас идет волна вредоносов с этой функцией и ловятся они каждый день сотнями, то ли год назад был один дохлый семпл и то пойманный в Занзибаре.

[anip 50]

То есть, имеем три режима: доверенный- недоверенный- недоверенный "максимальный".

Ну, тогда, например, у фаера Agnitum Outpost SS вообще 5 режимов.

Как три диапазона работы продукта правильно впихнуть в двухдиапазонную систему награждения?

Неужели надо было 5 диапазонов тестирования-награждения делать?

Тем более, что просто смешно читать подобные рассуждения на фоне убогих результатов лицензированного Агнитумом унылого Г. в тесте на лечение активного заражения: http://www.anti-malware.ru/taxonomy/term/301

Вообще-то там, кроме AOSS ещё 11 продуктов провалили тест. Они все УГ? А с Сomodo как, УГ или супер-пупер?

А в обсуждаемом тестировании у AOSS при стандартных настройках 5 место, а при максимальных - 3 место. Как-то не тянет на УГ.

Кстати вопрос к тестировщикам: интересно, стандартные настройки фаера AOSS - это был режим обучения, а максимальные - режим блокировать всё?

...

А вообще тест по-любому интересный. жаль, конечно, что не было указано, какие настройки в тестировании были стандартными у продуктов, какие максимальными.

А, в общем, результаты теста получились вполне ожидаемыми, если принимать во внимание тесты от Матюшека. Порадовал фаер Dr.Web - весьма неплохо для начала.

[Kopeicev 94]

Продолжение будет реализовано на этой же конфигурации? Или ОСь посвежее? С этими же версиями продуктов? Или всё же с актуальными?

Короче, это будет продолжение первой части, или независимый подход?

Ось, думаю будет та же. Т.к. ОСь нужна дырявая = XP. Версии продуктов будут браться актуальные, на момент начала тестирования.

Это не есть проверка нормальной работы HIPS продукта.

В числе проверок были и проверки разграничения приложений по группам (может ли продукт в таком состоянии, например создать правило для приложения и ограничивать его действия), как ещё проверять HIPS?

[alexgr 556]

А, в общем, результаты теста получились вполне ожидаемыми, если принимать во внимание тесты от Матюшека. Порадовал фаер Dr.Web - весьма неплохо для начала.

FW у Доктора имеет довольно долгую историю, до того, как был лицензирован. Поэтому как продукт он не для начала. Для начала - это наличие такой сборки от Доктора

[anip 50]

А в обсуждаемом тестировании у AOSS при стандартных настройках 5 место, а при максимальных - 3 место. Как-то не тянет на УГ.

Извините, при max - тоже пятое (не так глянул). Но всё-равно не отстающий.

FW у Доктора имеет довольно долгую историю, до того, как был лицензирован. Поэтому как продукт он не для начала. Для начала - это наличие такой сборки от Доктора

Ну, с историей, как простой пользователь, я не знаком, а fw появился у ДокВеба в продуктах относительно недавно. Поэтому для простых юзеров - недавно.

[Kopeicev 94]

Кстати вопрос к тестировщикам: интересно, стандартные настройки фаера AOSS - это был режим обучения, а максимальные - режим блокировать всё?

Настройки по умолчанию - это те настройки, с которыми ставится продукт т.е. у Аутпоста - режим обучения.

Как максимальные настройки использовался режим блокировки, есть ещё режим блокировать всё, но его тестировать бессмысленно т.к. это будет всё равно, что просто написать тулзу, которая отключает интернет соединение. Результат тот же - вся активность без разбора заблокирована.

[Виталий Я. 859]

Как максимальные настройки использовался режим блокировки, есть ещё режим блокировать всё, но его тестировать бессмысленно т.к. это будет всё равно, что просто написать тулзу, которая отключает интернет соединение.

Тот же результат, что и для Комода?

[Илья Рабинович 521]

эх

Не-не, Дэвид Блейн. Ты начал- так давай заканчивай. Какие именно продукт ты обвиняешь в блокировке тестовых семплов на запуск? На каком основании?

[Kopeicev 94]

Тот же результат, что и для Комода?

Не совсем, Комодо не блокиет вобще всю активность, там просто очень строгие ограничения, но это другое.

[Maratka 30]

Если эту мысль стоит отразить в выводах к тесту - ок, давайте сделаем это.

Только лучше не к выводам, а к предисловию.

Скажем потому, что красивые графики с результатом тестирования сразу режут глаз.

И почему-то кажется, что достаточно много людей дальше этих графиков читать не будет.

Т.е. получат красивые цифры, но не будут знать и чего с этими цифрами делать, да и просто и как они соотносятся с их стилем работы за компьютером.

[SySOPik 52]

Спасибо за тест. Удобно, лаконично, просто. Сразу в табличке видно различия между максимальными настройками и дефолтом, причем у разных продуктов.

Жаль началась очередная разборка между победившими и проигравшими, даже учитывая то что тест первый и не все идеально.

PS. Не пойму, с чего опять классический срач Комодо VS Аутпост, оба продукта выступили достойно, лучше большинства конкурентов. Плюсы/минусы их и так давно известны, смысл ???

[A. 876]

Не-не, Дэвид Блейн. Ты начал- так давай заканчивай. Какие именно продукт ты обвиняешь в блокировке тестовых семплов на запуск? На каком основании?

Меня интересует вопрос - на каком основании для DW запуск тестовых утилит производился из "недоверенной" зоны?

[Виталий Я. 859]

Меня интересует вопрос - на каком основании для DW запуск тестовых утилит производился из "недоверенной" зоны?

Ты не доехал в Питер, где Илья Шабанов заявил, что методология таки должна быть одна для всех, и DW получит 0% для "доверенной" зоны. Вернувшись в Москву, он вернулся к первоначальному мнению.

Запусти с флешки что угодно, и наш (да и ваш, вроде бы) продукт вынесет любую мальвару или ее имитацию по умолчанию.

[A. 876]

Меня интересует вопрос - на каком основании для DW запуск тестовых утилит производился из "недоверенной" зоны?

Илья, пока ты не начал строчить очередной текст об "особенностях" работы - я тебе уточняю что вопрос уже сугубо риторический.

Мы все прекрасно знаем, что при запуске из доверенной зоны твой продукт получит НОЛЬ процентов и в рамках экспертного совета все уже миллион раз было пережевано (администрации возможно стоит открыть тот топик для всех ?)

Администрация не вняла голосу разума, и решила не публиковать твои результаты для такого режима.

Я продолжаю считать, что это неправильно, потому что мы тут проверяли методы обхода фв, а не "особенности" фв и результат в НОЛЬ процентов должен быть отражен публично, просто потому что никаких технологий защиты от тестируемых _методов_ - у тебя нет.

[anip 50]

Как максимальные настройки использовался режим блокировки, есть ещё режим блокировать всё, но его тестировать бессмысленно т.к. это будет всё равно, что просто написать тулзу, которая отключает интернет соединение. Результат тот же - вся активность без разбора заблокирована.

А, ну, значит, если быть точным, то, по крайней мере, для AOSS не на максимальных.

[Mr. Justice 771]

Флейм и оффтопик перемещен. Сообщения Виталика и ответы на его сообщения удалены.

[Сергей Ильин 1538]

Действиеьльно в Питере мы обсуждали, что будет у DW результат один для довернной и один для недоверенной зоны. Даже сделан был вариант отчета уже, где стояли 0 и 100% соответственно, я не буду скрывать. Виталий его видел например. Но потом уже играясь с финальной выдачей стало понятно, что такая подача только еще больше путает. Давайте тогда и у других запускать тестовые проги как доверенные. У скольких еще будет ноль или почти ноль? Тогда надо было изначально решить как мы поступает при выборе настроек в случае, если продукт умеет работать с репутацией приложений. А так была бы каша, у одним мы меняем настройки, а у других - запихиваем утилиты в доверенные. Сами же и запинали тест первыми. Поэтому было принято волевое решение, у DW четко написано, что результаты эти для untrusted zone. В самом начале прямо статьи в таблице. Имхо это самый правильный выход из этой сложной ситуации, иначе проще его вообще в такие тесты не брать.

Kopeicev, большая просьба выложить инфу по настройками тех продуктов, по которым люди спрашивали, у тебя должна она быть.

[Mr. Justice 771]

Это первый тест такого рода, поэтому не исключены какие-то ошибки и неточности. Это естественно и нормально. Полагаю, что методология проведения теста и сам процесс тестирования в будущем будет совершенствоваться с учетом специфики теста и поступивших замечаний. В любом случае, проведение такого сложного и противоречивого теста - большое событие для нашего портала. Начало положено, и это главное. Не думаю, что нужно сразу требовать от организаторов теста и инженеров высшего пилотажа. Обиды и деструктивная критика здесь неуместны. А вот конструктивные замечания должны приветствоваться.

Что касается СМИ, то можно как-то заранее предупредить журналистов о том, что сноски и примечания к материалам теста должны также доводиться до читателя. Представители вендоров всегда могут проверить как выполняется это требование. Вендоры также могут предоставить свои официальные комментарии, о необходимости публикации которых также можно предупредить СМИ.

[priv8v 960]

небольшие важные сноски вполне можно затолкать в само изображение (на график/диаграмму), тогда у СМИ просто варианта не будет, не будут же изображение резать, а вам без разницы особой - что текст будет ниже в штмл тегах, что он будет на изображении...

[zzkk 130]

большая просьба выложить инфу по настройками тех продуктов, по которым люди спрашивали, у тебя должна она быть.

Было бы очень полезно узнать кто какие настройки считает "максимальными". В смысле, сравнить свое представление об оных с мнением тестировщиков(/=вендоров).

[Kopeicev 94]

Для всех продуктов, где были спорные моменты, например с настройкой KIS или Аутпоста были даны комментарии по поводу максимальных настроек. По каким продуктам ещё есть вопросы?

[Chekm 100]

Для всех продуктов, где были спорные моменты, например с настройкой KIS или Аутпоста были даны комментарии по поводу максимальных настроек. По каким продуктам ещё есть вопросы?

Comodo, Online Armor

У Online Armor любое приложение можно запустиь с пониженными правами, по сути без админских прав и в доп настройках защитить от исполнения удаленного кода и т. д.

Что делалось?

[GReY 35]

По каким продуктам ещё есть вопросы?

PC Tools, BitDefender, F-Secure, DrWeb