Подготовка теста фаерволов

[p2u 824]

Может быть стоит anti-malware создать свои тесты 'Firewall Challenge' но с настоящими зловредами (спам-боты, черви какие-нибудь), а? Естественно антивирусы отключаем, чтобы шансы были равны. Во-первых, будет мировая премьера. Во-вторых, думаю, что результаты будут намного интереснее, и Матушека со своими симуляторами отправим в Службу Занятости; уже давно пора...

P.S.: Они там уже не просят деньги за баги в продуктах, как раньше? Или они продают эти баги теперь тайно третьим сторонам?

Paul

[seevbon 40]

p2u

пока Ваше предложение обдумывается, не могли бы Вы прокомментировать результаты лидеров этого тестирования на 9-м уровне?

[Сергей Ильин 1538]

Может быть стоит anti-malware создать свои тесты 'Firewall Challenge' но с настоящими зловредами (спам-боты, черви какие-нибудь), а? Естественно антивирусы отключаем, чтобы шансы были равны. Во-первых, будет мировая премьера. Во-вторых, думаю, что результаты будут намного интереснее

Думаю, это было бы логичным шагом в развитии нашей линейки тестов. Надо обдумать эту идею проведения первого теста фаерволов у нас.

[bse 115]

Сергей Ильин, у Вас же были отдельные темы про подготовку к разным тестам и обсуждение их методологий? Может, пора создать и еще одну на основании предложения p2u?

[p2u 824]

кто и по каким критериям будет отбирать зловредов? Вот с этим неплохо бы определиться.

Пусть эксперты организуют мозговой штурм - решат эту проблему.

* Я пока ограничился бы до тестов обхода файрволов/комбайнов (то есть - ликтесты, но в этот раз - серьёзные).

* Естественно результат будет зависеть от поставленных целей; если, например использовать Reactor Mailer и подобные ему, то тогда сразу же умрёт миф о том, что файрволы хоть что-нибудь защищают. Парочка флеш червей не помешало бы... И ещё трой какой-нибудь для подмены выдачи поисковиков...

* В тестах по предмету убийства файрволов/комбайнов смысла не вижу; хотя они смотрятся хорошо для некоторых, я попросил бы таких тестов не проводить, так как цель не должна быть: 'водить пользователей в заблуждение насчёт того, что на самом деле возможно на Windows'.

* Тестирование желательно проводить по старой схеме Матушека:

- с настройками по умолчанию

- с максимальными настройками

Потом сложить результаты.

Paul

[bse 115]

Тестирование желательно проводить по старой схеме Матушека:

- с настройками по умолчанию

- с максимальными настройками

Потом сложить результаты.

А если тесты провести не только с разными настройками фаерволов, но и с разными настройками самой винды? На системе, установленной по-умолчанию. А потом на системе, настроенной как к примеру в сборнике "Безопасный Интернет"?

[p2u 824]

А если тесты провести не только с разными настройками фаерволов, но и с разными настройками самой винды? На системе, установленной по-умолчанию. А потом на системе, настроенной как к примеру в сборнике "Безопасный Интернет"?

Тогда будем тестировать уже не файрволы/комбайны, а что-то другое. Надо учитывать, что большинство пользователей будут работать с настройками ОС по умолчанию - для них и тестируются программы защиты.

P.S.: То, что описано в сборнике 'Безопасный Интернет' было задумано лишь как основной про-активный слой защиты до того, как себе поставить программы защиты. Как только мы запускаем ликтесты (или ещё хуже - настоящие зловреды), эти настройки уже совсем не имеют никакого значения. Основная проблема - доступность IE, даже если вы им не пользуетесь. Я ещё не говорю о самых крутых ботах, которые обходят все без исключения, тот же Reactor Mailer от SMP, например, который я раньше уже назвал - 'custom написанный TCP/IP стек' - (Лозунг автора: 'Наши письма доходят всем').

Paul

\\этот пост тесно связан и с текущей тему, и с этой.

Отредактировал Ноябрь 18, 2008 Umnik

[Umnik 997]

Оффтоп перенесен сюда. Здесь готовим тест, там закрываем пробелы в знаниях.

[vaber 350]

Предлагаю упростить тест. Дело в том, что на разработку методики и подбор семплов, которые бы использовали различные способы обхода защиты современного брандмауэра для домашников (в общем говоря хипс) мне потребуется куча времени, которого у меня сейчас нет. Поэтому, можно провести мини-тест, на способность современных фаерволов/хипс предотвращать проникновение вредоносного кода в ring0. То есть малвары будут пытаться снять перехваты защитного софта и/или пытаться загрузить драйвер. Ну а после, можно будет и остальную часть теста провести. Если ли возражение/предложения??

[vaber 350]

Какие будут предложения по малварам?

[Ego1st 95]

Василий сколько всего fw имеют хипс? 3-4?

[vaber 350]

http://www.matousec.com/projects/firewall-...nge/results.php

Первые полтора десятка так точно

[Ego1st 95]

и чего делать такими конторами которые считаются основными организациями по иб

BitDefender Internet Security 2009 12.0.10.2

ESET Smart Security 3.0.672.0

Panda Internet Security 2008 12.01.00

F-Secure Internet Security 2008 8.00.101

McAfee Internet Security 2009 10.0.209

Avira Premium Security Suite 8.1.00.206

Trend Micro Internet Security Pro 17.0.1224

[bse 115]

Предлагаю упростить тест. Дело в том, что на разработку методики и подбор семплов, которые бы использовали различные способы обхода защиты современного брандмауэра для домашников (в общем говоря хипс) мне потребуется куча времени, которого у меня сейчас нет.

А зачем торопиться? Кто хочет тест прямо завтра? Можно нормально подготовиться, чтобы премьера была настоящей, а не скомканной. Только большой активности не наблюдается. Почему бы это могло быть?

vaber, спасибо за Вашу готовность принять участие. Чего-то не могу Вам плюсануть, не знаете почему?

[Mike 125]

и чего делать такими конторами которые считаются основными организациями по иб

Я не понял.

Поясните пожалуйста.

[Ego1st 95]

Я не понял.

Поясните пожалуйста.

что делать с такими именитыми конторами которые даже не контролируют проникновение в ring0. просто не брать их в тест?

[vaber 350]

что делать с такими именитыми конторами которые даже не контролируют проникновение в ring0. просто не брать их в тест?

Ну возьмем их комбаины для вида . Осталось только тестеров найти...

[p2u 824]

Предлагаю упростить тест. Дело в том, что на разработку методики и подбор семплов, которые бы использовали различные способы обхода защиты современного брандмауэра для домашников (в общем говоря хипс) мне потребуется куча времени, которого у меня сейчас нет. Поэтому, можно провести мини-тест, на способность современных фаерволов/хипс предотвращать проникновение вредоносного кода в ring0. То есть малвары будут пытаться снять перехваты защитного софта и/или пытаться загрузить драйвер. Ну а после, можно будет и остальную часть теста провести. Если ли возражение/предложения??

Я за, но здесь опасность в том, что это может восприниматься как подставу, и это в свою очередь может повредить репутацию ресурса anti-malware. Поэтому, если такой мини-тест делать, не надо брать файрволов, где HIPS не включён по умолчанию. Можно также ограничиваться файрволами, которые рекомендует Матушек. Предварительно я тоже спросил бы у представителей вендоров этих продуктов, готовы ли они на такое тестирование. Если нет, то тогда назвать продукт и указать причину отказа.

А зачем торопиться? Кто хочет тест прямо завтра? Можно нормально подготовиться, чтобы премьера была настоящей, а не скомканной.

Согласен - спешить некуда.

Какие будут предложения по малварам?

Доверяю вам в этом вопросе - думаю, что лучше решить этот вопрос в закрытом разделе.

Хочу только выразить некоторые желания:

Тестирование в двух режимах - с настройками по умолчанию и с максимальными настроками. Если это невозможно, то тогда только с настройками по умолчанию.

Если при установке продукта предлагаются 2 типа установки ('автоматическую' и 'экспертную'), то тогда выбрать 'автоматическую' установку.

Если программа предлагает определить доверенные программы по базам (для удобства и минимального количества алертов) - согласиться с таким предложением. Короче - всё как для простого пользователя.

- За хорошую защиту по умолчанию: + 3 балла

- За хорошую защиту с максимальными настройками: + 2 балла

- За сбои в системе, зависание и прочие неудобства при попытке защиты системы: - 1 бал.

Paul

[alexgr 556]

Предварительно я тоже спросил бы у представителей вендоров этих продуктов, готовы ли они на такое тестирование. Если нет, то тогда назвать продукт и указать причину отказа.

+1

Полагаю это оБязательным - сам делаю и полагаю вариантом очень этичным. Да и защитимся от нападок в ответах на результаты тестов - типа - "мы запретили..."

[vaber 350]

Согласен - спешить некуда. smile.gif

Спешить-то не куда, только я лично могу на тест выделить полчаса времени в день...и то, не всегда (имею ввиду подборку семплов для теста). Пока я на полноценный тест все отберу - появится куча новых и тест станет не актуальным (относительно). В некоторой степени так было с тестом на активное заражение - пока все делалось появилась и булка обновленная, и уже всем изрядно надоевший TDSS - а было поздно их в тест сунуть.

Хочу только выразить некоторые желания:

Тестирование в двух режимах - с настройками по умолчанию и с максимальными настроками. Если это невозможно, то тогда только с настройками по умолчанию.

Если при установке продукта предлагаются 2 типа установки ('автоматическую' и 'экспертную'), то тогда выбрать 'автоматическую' установку.

Если программа предлагает определить доверенные программы по базам (для удобства и минимального количества алертов) - согласиться с таким предложением. Короче - всё как для простого пользователя. smile.gif

Именно так и планировалось.

- За хорошую защиту по умолчанию: + 3 балла

- За хорошую защиту с максимальными настройками: + 2 балла

- За сбои в системе, зависание и прочие неудобства при попытке защиты системы: - 1 бал.

Бальные системы можно еще обсудить - иначе может возникнуть резонный вопрос - почему именно такие баллы, а не например, 4,2,-2. Думаю, что лучше будет не складывать результаты, а сделать две таблицы - в одной результаты с настройками по-умолчанию, в другой - с настройками максимальными. И обе таблицы представить as is (в каждой : есть блокировка - 1 балл, нету - 0 баллов, зависла система - смотрим после ребута - вирь активен - 0 баллов, заражения нету - 1 балл).

+1

Полагаю это оБязательным - сам делаю и полагаю вариантом очень этичным. Да и защитимся от нападок в ответах на результаты тестов - типа - "мы запретили..."

А смысл? Все те, кто знает своей реальный результат (а более мне крупные вендоры проводят внутренние тесты и знают возможности и недостатки свего текущего продукта (да и что там говорить - продуктов конкурентов основных тоже )), если он врядли отличный - какой им смысл участвовать в тесте? Естественным будет их желание не участвовать . Получается тест уже не независимые, а зависит от принятого решения некоего вендора.

Да и антималвара тестами фаерволов не известна.

Я за, но здесь опасность в том, что это может восприниматься как подставу, и это в свою очередь может повредить репутацию ресурса anti-malware.

Чем повредить? Мы же не будем толкать этот тест как полный тест фаерволов/хипс. Это будет тест именно на противодействие загрузке драйвера малварой и/или снятия хуков. Не больше не меньше

Поэтому, если такой мини-тест делать, не надо брать файрволов, где HIPS не включён по умолчанию. Можно также ограничиваться файрволами, которые рекомендует Матушек.

Нужно определится. Но с другой стороны, эти вендоры, у которых фаервол без поддержки хипс все-равно рекламируют свой продукт как полноценный - стало быть нужно показать, что это не так

[Ego1st 95]

Но с другой стороны, эти вендоры, у которых фаервол без поддержки хипс все-равно рекламируют свой продукт как полноценный - стало быть нужно показать, что это не так

Хочешь что бы антималваре еще больше вендеров не любили?=))

[alexgr 556]

А смысл? Все те, кто знает своей реальный результат (а более мне крупные вендоры проводят внутренние тесты и знают возможности и недостатки свего текущего продукта (да и что там говорить - продуктов конкурентов основных тоже )),

из личной практики - только некоторые возражали. Иные просили методику почитать, но соглашались как результат. Есть некоторые, которые возражают и живут внутренними тестами, но всегда интересно так или иначе увидеть "незаточенный" результат (при этом могут обзывать этот результат "заказным" и т.д.), ведь всегда смотрят. Это всегда полезно. Но это мое мнение. Я и спрашиваю - если нет ответа, то не использую. Вот и на последнем тесте спрашивал - мне нужно формальное согласие

[p2u 824]

Чем повредить? Мы же не будем толкать этот тест как полный тест фаерволов/хипс. Это будет тест именно на противодействие загрузке драйвера малварой и/или снятия хуков. Не больше не меньше

За некорректность по крайне мере могут начинать бойкот. Мне кажется, что надо всегда в таких тестов всем на любом этапе оставлять возможность оправдываться чем-нибудь. Посмотрим насколько искусно они это делают...

Нужно определится. Но с другой стороны, эти вендоры, у которых фаервол без поддержки хипс все-равно рекламируют свой продукт как полноценный - стало быть нужно показать, что это не так

ОК - убедили. Из таких, кстати, есть Sunbelt Personal Firewall. Там тоже что-то похоже на HIPS есть (не по умолчанию), но увидите, что когда вы нажимаете 'Нет', то тогда получается иногда всё равно 'Да'.

P.S.: Как вы будете устанавливать malware? IE будет запущен во время установки? Настройки ОС по умолчанию?

Paul

[vaber 350]

Хочешь что бы антималваре еще больше вендеров не любили?=))

Как у нас говорится - прауда вочы коле

из личной практики - только некоторые возражали. Иные просили методику почитать, но соглашались как результат. Есть некоторые, которые возражают и живут внутренними тестами, но всегда интересно так или иначе увидеть "незаточенный" результат (при этом могут обзывать этот результат "заказным" и т.д.), ведь всегда смотрят. Это всегда полезно. Но это мое мнение. Я и спрашиваю - если нет ответа, то не использую. Вот и на последнем тесте спрашивал - мне нужно формальное согласие

Тогда решим этот вопрос на экспертном совете.

За некорректность по крайне мере могут начинать бойкот.

В смысле? Какая некорректность?

Мне кажется, что надо всегда в таких тестов всем оставлять возможность оправдываться чем-нибудь.

Хыхы, так оправдаются конечно .

P.S.: Как вы будете устанавливать malware? IE будет запущен во время установки? Настройки ОС по умолчанию?

Сначала фаерволл (в двух вариантах макс и по-умолчанию), все что скажет - то и делаем (ну естественно, что если попросит обучаться месяц - то мы по обучаем, но перед установкой малвары отключаем обучение), ставим какую-нить распространенную тулзу, которая грузит драйвер - например утилиты для тестирования железа. Естественно создаем правило, которое предложит создать хипс. Венда XP SP3, настройки по-умолчанию, права одмыну

А какая разница запущен IE или нет?

[p2u 824]

В смысле? Какая некорректность?

За невозможность возражаться на любом из этапов.

Хыхы, так оправдаются конечно .

Пусть. Полагаю, что простой пользователь сделает из этого свои выводы если аргументы неубедительны. Вы же лишь пытаетесь установить что будет, если антивирус не опознал зловред?

А какая разница запущен IE или нет?

Большая. Он же доверен? Если он запущен, HIPSы могут не замечать разные вещи, обсуждение которых выходит далеко за рамки данного топика. Потом, это как можно ближе к реальной жизни - браузер обычно запущен и в его пространстве всё делается. Никто так дома вручную не будет устанавливать зловреды с отключённым браузером... Некоторые ликтесты у Матушека только так работают - они сами проcят запускать IE...

Paul