Тест фаерволов на защиту от внутренних атак (результаты)

[Chekm 100]

.... нужно принципиально определиться, мы берем песочницы в такие тесты или нет. Если берем, то нужно выработать правила игры для них.

Что скажете?

Я бы сказал, что такой тест или исследование защищенности давно назрел... но тут сразу попутные соображения:

те тесты, которые проводятся посвящены отдельным компонентам, но не охватывают продукт в целом...

И никогда не видел тестов на несколько продуктов работающих в комплексе.

У Рабиновича песочница с фаерволом и результат 100% при условии запуска в песочнице... KIS, CIS - укажите запуск тестовых тулз в песочнице, да ещё с выбором ограничений не по-умолчанию и какой будет результат?

Или например недавно раскритикованный Shadow Defender (песочница на весь сист диск) и тут на форуме от Юрия Паршина и в блоге Umnik читал, что TDSS и ... обходит на раз, хорошо, а Shadow Defender + Comodo IS (песочница в Комодо отключена) тоже на раз?

Retornil (песочница) со встроенным модулем антивируса, то чего не хватает DW...

[Александр Соколов 35]

А если в KIS выставить контроль программ только в базе KNS и с цифр. подп. остальные в недоверительный, наверняка наберёт 100% в Вашем тесте.

По поводу паронаидальности Comodo имхо меня устраивает, т.е. я её невижу, песок off хватает белого списка и прямых рук.

[Александр Соколов 35]

Например, в том же КИС 2011/2012 можно тоже было запускать тулзы в Безопасной среде. И независимо от настроек результат был бы скорее всего 100%.

Да, но это скорее защита от соц. инженерии. В отличии от того же DW Comodo где это работает и при скрытном запуске(имею ввиду инсталяцию без участия пользователя ak попутная загрузка... ).

[Виталий Я. 859]

Также очень важно услышать ваши мысли по поводу тестирования на ложные срабатывания, пока что тишина по этому вопросу.

Мы ничего не писали, а брали лежащие в открытом доступе обычный софт с CNet и утилиты из коллекции Рубенкинга, юзающие функции, подобные вашим тестовым утилитам, и их Comodo/DefenweWall блочили без разговоров. Вот и вы попробуйте подобных "чистых" файлов набрать коллекцию.

[ktotama 45]

Вчера размышлял на тему методологии теста и пришла в голову занятная мысль. Почему-то многих возмутили высокие позиции песочниц DefenseWall/Comodo в этом тесте, но никого не смутил системный аспект. Например, в том же КИС 2011/2012 можно тоже было запускать тулзы в Безопасной среде. И независимо от настроек результат был бы скорее всего 100%. Нечто подобного можно было бы добиться с Авастом например.

К чему я это все собственно. А к тому, что нужно принципиально определиться, мы берем песочницы в такие тесты или нет. Если берем, то нужно выработать правила игры для них.

Что скажете?

Также очень важно услышать ваши мысли по поводу тестирования на ложные срабатывания, пока что тишина по этому вопросу.

Обеими руками за!

Правила: отдельная колонка по тесту возможностей песочниц. И песочниц специализированных известных побольше добавить в тест, а то опять будут упреки о независимости/заинтересованности АМ, лобби DW и еще кое-кого.

По поводу теста на ложняки: инициатива и прототипы соответствующих утилит должны исходить и предлагаться к обсуждению в первую очередь от тех, кто любит опосля покритиковать методику и призеров, упрекая в заточке под того же Matousec - будет хоть ясно, что есть слова, а что близко к истине.

[canni2 50]

А к тому, что нужно принципиально определиться, мы берем песочницы в такие тесты или нет. Если берем, то нужно выработать правила игры для них.

Поскольку тест должен иметь практическое значение, а не просто кучка цифр, то и тестировать нужно весь продукт, а потрошить на куски и издеваться над каждым органом в отдельности - удел Профессионалов. А чтобы не было претензий, типа:" мы тестируем фаерволл, или песочницу?", нужно изменить саму классификацию тестов, не просто "Тест ферволов", а что-то типа "Тест АВ комплексов на атаку через фаервол",(путано и непонятно. не лингвист ). Зато если грамотно назвать тест, то исчезнут лишние придирки к словам, и станет ясно, что проверяется не ампутированный (и, как показывает практика, ущербный) компонент, а весь комплекс в целом, что в общем и происходит. Почти всегда продукт запускается полноценным комплексом, и какая разница на практике, кто из компонентов и на каком этапе заблокировал зловреда.

Сложная эта штука тесты тестить особенно фаерволы. Возможно ещё и это: Первый блин — комом © Но всёравно спасибо за тест. ИМХО возможно было бы интереснее разделить на 2 этапа:

1 настройки по умолчанию за пультом домохозяйка смотрит в монитор и жмёт ДА.

2 за пк специалист, который настраивает и управляет продуктом сам. В идеале неплохо бы было, если этот специалист ещё имел бы и прямое отношение к тестируемому продукту.

2пункт бесполезен, т.к. специалист настроит и управит так, что прхождение будет 100%.

Так что всё сделано правильно: 1 по умолчанию, 2 все ползунки на максимум. Именно так и поступает большинство хозяек, причём именно ползунки, а не галочки и крестики.

[Valery Ledovskoy 1082]

Поскольку тест должен иметь практическое значение, а не просто кучка цифр, то и тестировать нужно весь продукт

Попробуйте себе представить тестирование всего комплексного продукта в целом. Потом можете писать подобные посты.

Можете даже для начала хотя бы попробовать потестировать пару десятков продуктов на объём трафика, который тратится на обновление. Можно даже под виртуалкой.

Потом скажете, захочется ли Вам после этого тестировать продукты целиком.

[Александр Соколов 35]

2пункт бесполезен, т.к. специалист настроит и управит так, что прхождение будет 100%.

Не факт в некоторых продуктах нечего настрайвать и нечем управлять

Именно так и поступает большинство хозяек, причём именно ползунки, а не галочки и крестики.

Всёж имхо лучше так, разделить тест на 2 категории

1я домохозяечная настройки дефолт.

2я для продвинутых юзеров где из продукта выжимают всё.

[OlegAndr 236]

А если в KIS выставить контроль программ только в базе KNS и с цифр. подп. остальные в недоверительный, наверняка наберёт 100% в Вашем тесте.

Я кстати так и настраиваю, у меня они в сильных ограничениях.

Umnik, что я делаю не так?

[Александр Соколов 35]

Я кстати так и настраиваю, у меня они в сильных ограничениях.

Umnik, что я делаю не так?

И в чем проблема...

[Umnik 997]

Так?

[ktotama 45]

Публикуйте наблюдения и результаты по тематике, в том числе дополнительные и вне теста, как с тестируемыми программами так и с другими достойными кандидатами, с видео в доказательство, что мешает?

Отредактировал Сентябрь 26, 2011 ktotama

[NVS 0]

Я бы сказал, что такой тест или исследование защищенности давно назрел... но тут сразу попутные соображения:

те тесты, которые проводятся посвящены отдельным компонентам, но не охватывают продукт в целом...

И никогда не видел тестов на несколько продуктов работающих в комплексе.

У Рабиновича песочница с фаерволом и результат 100% при условии запуска в песочнице... KIS, CIS - укажите запуск тестовых тулз в песочнице, да ещё с выбором ограничений не по-умолчанию и какой будет результат?

Или например недавно раскритикованный Shadow Defender (песочница на весь сист диск) и тут на форуме от Юрия Паршина и в блоге Umnik читал, что TDSS и ... обходит на раз, хорошо, а Shadow Defender + Comodo IS (песочница в Комодо отключена) тоже на раз?

Retornil (песочница) со встроенным модулем антивируса, то чего не хватает DW...

Песочницу у Касперского в тест включать нельзя, ёё не используют, не автоматизирована. Может ещё эксплойты(все) для вообще всего софта включая Windows попросим в ней работать?

Такие песочницы в тест включать нельзя! Тогда уж любому юзеру нечего не мешает установить себе бесплатную. Лучше протестировать песочницы на критические уязвимости которые с легкостью смогут найти в них продвинутые хакеры.

Вообще все тестирование нужно проводить на только 64 битных системах!

[Сергей Ильин 1538]

Вообще все тестирование нужно проводить на только 64 битных системах!

Это почему такая категоричность? Выше была статистика по ОС, нельзя по ней говорить что Windows 7 х64 однозначно рулит.

P.S. Но следующий тест сделаем на ней.

[Александр Соколов 35]

Это почему такая категоричность? Выше была статистика по ОС, нельзя по ней говорить что Windows 7 х64 однозначно рулит.

P.S. Но следующий тест сделаем на ней.

Когда вовсю будет рулить x128

[A. 876]

Когда вовсю будет рулить x128

Нет, как только Рабинович получит подпись и сделает версию под x64

[canni2 50]

Попробуйте себе представить тестирование всего комплексного продукта в целом. Потом можете писать подобные посты.

Можете даже для начала хотя бы попробовать потестировать пару десятков продуктов на объём трафика, который тратится на обновление. Можно даже под виртуалкой.

Потом скажете, захочется ли Вам после этого тестировать продукты целиком.

Немного не так.

что-то типа "Тест АВ комплексов на атаку через фаервол"

т.е. тестируем фаервол - хорошо, но не нужно при этом ампутировать всё остальное, т.к. в реальной жизни так не бывает. Если тестируется, например, комодо-фаервол, или outpost-firewall как отдельный продукт, значит это их плюсы, или минусы. Но если они в составе комплексов, то и результат надо оценивать соответственно...

[canni2 50]

Всёж имхо лучше так, разделить тест на 2 категории

1я домохозяечная настройки дефолт.

2я для продвинутых юзеров где из продукта выжимают всё.

Так а сейчас в тесте было не так? Читайте

Так что всё сделано правильно: 1 по умолчанию, 2 все ползунки на максимум.

Так что нафига был пост?

А про крестики/галочки - это чтобы букаф больше написать

[Сергей Ильин 1538]

но не нужно при этом ампутировать всё остальное, т.к. в реальной жизни так не бывает. Если тестируется, например, комодо-фаервол, или outpost-firewall как отдельный продукт, значит это их плюсы, или минусы. Но если они в составе комплексов, то и результат надо оценивать соответственно...

В общем мы в данном тесте так и делали, поэтому сами тестовые кейсы по сути выходят далеко за рамки классических функций фаервола. Т.е. тестировался продукт целиком, а на отдельные функции. НО с песочницами все же непонятно как быть. С одной стороны это часть продукта. Но у одни она - ядро продукта (почти всегда включена), а у других дополнительная возможность, которую и включить и большинство юзеров не знают как.

Поэтому нужно выработать правило, как мы поступаем с песочницами. Можно будет к тому же сделать их отдельный их мини-тест "на пробой".

[GReY 35]

Можно будет к тому же сделать их отдельный их мини-тест "на пробой".

почему "мини", чем он будет отличаться от уже проделанных?

я считаю, что нужно тестировать именно так, как обычно происходит внедрение: открыли сайт, тыцнули ссылку (а ещё лучше скрипт само чего-нибудь запустилось) и ждём реакции защиты. Если приложение было автоматически изолировано - се ля ви, но надо проверить ложные срабатывания, чтобы неповадно было изолировать всё подряд.

[Mr. Justice 771]

почему "мини", чем он будет отличаться от уже проделанных?

я считаю, что нужно тестировать именно так, как обычно происходит внедрение: открыли сайт, тыцнули ссылку (а ещё лучше скрипт само чего-нибудь запустилось) и ждём реакции защиты. Если приложение было автоматически изолировано - се ля ви, но надо проверить ложные срабатывания, чтобы неповадно было изолировать всё подряд.

Это будет уже другой тест. Вот этот.

[SDA 750]

Это будет уже другой тест. Вот этот.

Сейчас ХИПС и фаеврвол практически во всех продуктов класса IS связаны. Т.е. получается либо тесты "чистого брандмауэра" (тогда больше половины IS можно из теста выкидывать) либо то что было. Кстати, по поводу песочницы в х64 9 (имеется ввиду АВ продукт), назовите мне хоть одну (вопрос ко всем), которая полноценно работает в х64 среде Если крупные вендоры не могут это сделать, то что можно требовать от Рабиновича

[Mr. Justice 771]

Сейчас ХИПС и фаеврвол практически во всех продуктов класса IS связаны. Т.е. получается либо тесты "чистого брандмауэра" (тогда больше половины IS можно из теста выкидывать) либо то что было.

Я это понимаю. Отмечу лишь, что нужно четко провести водораздел между этими тестами, то есть определиться с тем, что тестируется в каждом из них.

[ktotama 45]

В общем мы в данном тесте так и делали, поэтому сами тестовые кейсы по сути выходят далеко за рамки классических функций фаервола. Т.е. тестировался продукт целиком, а на отдельные функции. НО с песочницами все же непонятно как быть. С одной стороны это часть продукта. Но у одни она - ядро продукта (почти всегда включена), а у других дополнительная возможность, которую и включить и большинство юзеров не знают как.

Поэтому нужно выработать правило, как мы поступаем с песочницами. Можно будет к тому же сделать их отдельный их мини-тест "на пробой".

Возможно, я в прошлом посте неисчерпывающе выразился.

В шапках итоговых таблиц дополнительные колонки, с подклассификацией результатов, где запуск из безопасной среды, а где нет, также остаются условия запуска по дефолту и по максимуму, в том числе возможно и для песочниц, если их авторами предусмотрена их настройка или опциональный выбор.

Если выбора настроек дефолт-макс нет, то соответствующая пара ячеек объединяется; если соответствующие настройки все же есть, но никак не влияют на результат (недавний случай в примере с Online Armor), то соответствующие ячейки не объединять, но значения для них соответственно одни и те же.

Таким образом, общее количество колонок увеличится вдвое по сравнению с настоящим.

Если у продукта в принципе нет того или иного функционала, будь то проактивная защита без безопасной среды или наоборот только безопасная среда, то в соответствующей колонке результатов прочерк "-".

[Сергей Ильин 1538]

В шапках итоговых таблиц дополнительные колонки, с подклассификацией результатов, где запуск из безопасной среды, а где нет, также остаются условия запуска по дефолту и по максимуму, в том числе возможно и для песочниц, если их авторами предусмотрена их настройка или опциональный выбор.

Да, это вариант. Спасибо! Теперь я понял мысль.