Firewall Challenge от Matousec - март

[Иван 290]

И я повторяю свой вопрос, с какого перепугу после вопроса о том насколько методы используемые в тестах Матюшека уже используются в живых зловредах вас понесло в АнтиКаспер шоу?

[A. 875]

Виталий , типа - ау!

[Виталий Я. 859]

Виталий , какую часть вашего одеяния вы готовы будете сжевать, если 8-ка выйдет не через полгода? И даже не через три месяца ? И даже ... а ладно - просто запомним эту вашу фразочку

Товарищ Гостев, ваши бы слова да вашим бета-тестерам в уста.

Виталий, прекратите пить пиво и посмотрите внимательно на ссылку, которую я вам дал. Какие фанаты, какая регистрация ? АУУУУУУ!!!

Во-первых, мне неплохо и без пива - что вчера, что сегодня. Во-вторых, поясняю - аттачи (может, не очень и нужные) для незарегенных не видны:

"Sorry, but you do not have permission to use this feature. If you are not logged in, you may do so using the form below if available."

А в тексте вижу натужную попытку топикстартера пояснить юзерам, что невышедший "Kis 2009 fails" всего лишь "echotest and echotest 2", "Fails too SSS3 and SSS4." Ссылка там битая, поэтому юзеры в топике переспрашивают, свои ли тесты.

В то же время напустили туману про версию 7: "Bsodhook test is related to 7.0.0.125 not 7.0.1.325." - сентенция вообще неясна, т.к. итоги теста у Матушека приведены для 325ой. Это ваше "Testing KIS 2009" не волнует, речь у нас идет о текущей версии.

Все еще жду ссылок подтвеждающих ваш ... (хотел написать "бред", но пока подожду) о том, что "KIS незнакомы EchoTest и все SSS-тесты" и "падает по verifier"

Забываете, что даже тест SSS проходите некорректно - блокируете shutdown, а не обеспечиваете защиту в его время.

Александр, Вы уже игнорируете как устаревшие на поколение текущие результаты KIS из отчета Матусека?

Level 8 SSS3 0 % FAILED

Level 3 SSS2 0 % FAILED

Level 4 SSS 0 % FAILED

Level 7 SSS4 0 % FAILED

Level 9 Driver Verifier 78 % FAILED

В чем я неправ?

[Иван 290]

вы, Виталий, не правы тем, что после адекватного вопроса поехали в неадекватную сторону

тем более что результяты OSS от результатов KIS отличаются мало

Результаты OSS

Level 3 Suspend1 50 % FAILED – The handle stealing method had to be used.

Level 4

Kill9 50 % FAILED – The handle stealing method had to be used.

Suspend2 50 % FAILED – The handle stealing method had to be used.

Level 6

ECHOtest2 0 % FAILED – See further notes at the end of the report.

Level 7

Schedtest 0 % FAILED

Level 8

Kill5 0 % FAILED

Schedtest2 0 % FAILED

Level 9

Driver Verifier 89 % FAILED

Level 10

BSODhook SSDT 90 % FAILED – NtCreateKey caused BSOD

итоговый результат OSS - 91%, KIS 85% - и тут они близки. Причем новая версия, где это все поправлено еще не выпущена, так же как и KIS2009.

то что вы выпустите ее раньше Киса ну я это допускаю, но тут не ваша особая заслуга, просто у вас график выхода релизов такой.

И ответьте на мой вопрос, который я уже задал дважды

[A. 875]

Александр, Вы уже игнорируете как устаревшие на поколение текущие результаты KIS из отчета Матусека?

В чем я неправ?

Итак, вы как минимум признали что ляпнув "все SSS-тесты" - очередной раз спороли чушь.

Далее - вы неправы хотя бы в том, что если бы KIS не проходил тесты 3-4-5-6-7-8-9 уровней - он бы до 10-го никогда не дошел !

Вы в системе тестирования матусека разбираетесь, нет ?

Ну так откройте для себя этот удивительный мир !

Начнем с конца:

1. Outpost падает на BSODHook. (10 уровень), также как и KIS.

2.Outpost не прохдит тест на Verifier. (9 уровень), также как и KIS.

3. Outpost не проходит тест на Kill5 (два из трех) - 8 уровень. KIS проходит все три.

4. Outpost не проходит тест SSS3 - 7 уровень. KIS проходит.

5. Outpost не проходит тест ECHOtest2 - 6 уровень. Также как и KIS.

6. Outpost всего на 50% проходит тесты Kill9 и Suspend2 - 4 уровень. KIS проходит полностью.

7. Outpost всего на 50% проходит тест Suspend1 - 3 уровень. KIS проходит его полностью.

Сколько там непройденных тестов вы KIS в вину ставите ? На себя для начала посмотреть не хотите ? Может быть стоит сначала самому себе задать вопросы и дать на них публичный ответ - почему Outpost "незнакомы EchoTest, Kill, Suspend, SSS-тест, verifier и падает под BSODHook"

Ваш файрволл всего на 5% лучше нашего в этих тестах. И разница эта достигнута только на процентах в bsodhook и verifier. Она копеечная. Не надо строить из себя супер продукт и тыкать почти своими же результатами. Посмотрите лучше на те файрволы, которые БЕСПЛАТНЫ и которые сделали 100% там где вы едва вылезли за 90%.

Единственным серьезным аргументом в вашем споре со мной - могут стать только конкретные примеры МАЛВАР, которые используют те методики, которые мы пропускаем. И которые вы - ловите ! Понимаю, что ждать этого ответа бесполезно ... - а ваше пиписькомерянье не интересно - все данные изложены выше.

[Иван 290]

гм, A., мы случайно не братья?

[A. 875]

гм, A., мы случайно не братья?

Нет, просто то что мы здесь пишем - настолько очевидно для всех нормальных людей, что удивительно почему же Виталий до этого не додумается никак ...

[Иван 290]

[Виталий Я. 859]

Иван, A., вы не братья, а бета-тестеры ОДНОГО продукта, пока находящегося в состоянии не-релиза. Прохождение тестов бетой - это для конечного пользователя все-таки ложь, т.к. не пощупать, и никак не повлияет на уровень защиты конечного пользователя, а только на ваш.

A., вы тут мне приписываете непонимание новой системы прохождения тестов Матусека. Ага, как же.

Но продолжать не буду, хватит. Оба продукта - лидеры в комплексности защиты от подобных вещей, остальные рядом не валялись. Мне просто захотелось на тему тестов размять мозг и пальцы.

Пора признать, что согласен, что грешно по этому поводу ссориться, если у соседей по рынку это вообще не реализовано.

[Иван 290]

Иван, A., вы не братья, а бета-тестеры ОДНОГО продукта, пока находящегося в состоянии не-релиза. Прохождение тестов бетой - это для конечного пользователя все-таки ложь, т.к. не пощупать, и никак не повлияет на уровень защиты конечного пользователя, а только на ваш.

а кто-то разве против этого возражает? новый OSS ведь тоже в состоянии не-релиза?

[Иван 290]

Но продолжать не буду, хватит. Оба продукта - лидеры в комплексности защиты от подобных вещей, остальные рядом не валялись. Мне просто захотелось на тему тестов размять мозг и пальцы.

это я так понимаю ответ на мой вопрос ради чего все это шоу...

[Иван 290]

новые участники регаты (Matousec ): Avira, BitDefender, OneCare, McAfee

Кстати Матюшек добавил 8 новых тестов на кейлогеры, у нынешних лидеров (тех кого тестировали на наборе из 62 тестов, а не 70) есть шанс просесть при перетестировании.

We have implemented seven new keylogger tests to Security Software Testing Suite and together with ShadowHook we have added them to Firewall Challenge. We have 70 tests in the system of Firewall Challenge now. Newly tested products as well as new versions of already tested products are always tested against all the tests in the system on levels that they reach.

[Виталий Я. 859]

Иван, а куда "просядут" нынешние аутсайдеры, уточнять не будете?

[Иван 290]

жизнь покажет

[Олег Гудилин 95]

Виталий, а слышали ли Вы, что господа из компании Eset в своих последних презентациях для партнеров не обошли вниманием этот тест.

Они рассказывают аудитории, что этот тест делается непонятными школьниками и студентами на коленке и серьезно его воспринимать нельзя Вот буквально на днях наблюдали мы это шоу.

Что Вы, Виталий, думаете по этому поводу?

[Виталий Я. 859]

Виталий, а слышали ли Вы, что господа из компании Eset в своих последних презентациях для партнеров не обошли вниманием этот тест.

Они рассказывают аудитории, что этот тест делается непонятными школьниками и студентами на коленке и серьезно его воспринимать нельзя Вот буквально на днях наблюдали мы это шоу.

Что Вы, Виталий, думаете по этому поводу?

Олег, а вот это новость.

Раньше сотрудники Matousec были и вправду непонятными студентами, но неожиданно сделали усилие над собой и достигли неплохого уровня профессионализма (вероятно, пришел эксперт в их ряды). Во всяком случае, Firewall-leaktester.com скончался, в живых из их конкурентов никого не осталось, так что выбирать воистину не из кого - это не ситуация с антивирусными тестами.

А в ответ на подобное шоу по работе с партнерами можно отвечать другими фееричными заявлениями. Про вполне конкретный тест - а что еще остается?

[Fil 0]

Мне всегда было интересно знать, а являются ли лик-тесты столь необходимым условием для проверки качества фаера? на ESSовском форуме говорят что лики не такая уж и сильная угроза, в чём-то может они и правы, а может и нет. Хотелось бы от вас услышать об этих всех нюансах. кто же всё таки прав?

[Виталий Я. 859]

Мне всегда было интересно знать, а являются ли лик-тесты столь необходимым условием для проверки качества фаера? на ESSовском форуме говорят что лики не такая уж и сильная угроза, в чём-то может они и правы, а может и нет. Хотелось бы от вас услышать об этих всех нюансах. кто же всё таки прав?

"Пусть говорят" (с)

Вообще не столько фаервол проверяется, сколько:

1) внутренняя защита продукта - проверяется от выключения вредоносным кодом;

2) имитируются способы обхода защиты - в основном, используемые в реальном распространенном вредоносном ПО (хотя есть и эксплуатируемые малоизвестные, про которые у нас перепалка тут была).

При наличии интегрированного продукта уже порой неясно, sandbox это рулит или иные компоненты - от архитектуры зависит.

Думаю, практически во всей АВ-индустрии при подобных невыгодных для большинства вендоров результатах скоро будет везде звучать единое "НЕ ВЕРИМ ЛИКТЕСТАМ!", а Eset наверняка встанет во главу альянса ALTSO (Anti-LeakTest и т.д.) - в общем, ситуация, наблюдавшаяся в отношениях Panda-VirusBulletin.

[vaber 350]

А попытка сделать анхук перехватов драйвера фаервола в ликтестах проверяется?

[Иван 290]

Мне всегда было интересно знать, а являются ли лик-тесты столь необходимым условием для проверки качества фаера? на ESSовском форуме говорят что лики не такая уж и сильная угроза, в чём-то может они и правы, а может и нет. Хотелось бы от вас услышать об этих всех нюансах. кто же всё таки прав?

то что делает Матюшек это уже не ликтесты в чистом виде и не тесты фаерволов по большому счету.

это тесты секьрити свитов, в которых проверка фаервола только один из аспектов.

у Матюшека несколько категорий тестов:

1.General bypassing test - тесты, например, радостно инициирующие перезагрузку или логаут, или же дожидающиеся перезагрузки. А в момент перезагрузки/логаута они следят будет ли проверяемый софт вас защищать до той поры пока все недовренные приложения будут выгружены или же пойдет спать раньше

2.Keylogger test - смотрят можно ли перхватить, то что вы набираете с клавы или сделать скриншот

3.Leak-test - ну это собственно и есть стандартные тесты на проницаемость фаера изнутри, которые якобы с точки зрения есета не важны.

4.Termination test - тестируется возможность прибить процессы защитного софта, выгрузить их, чтоб они не могли больше от зловредов защищать.

я простите не слишком великий спец, поэтому пишу на простом обывательском языке

как видите тесты эти комплексные и направлены тест различных возможностей продуктов класса интернет секьюрити, . а пройти эти тесты многие продукты не могут потому, что у них слабая самозащита, полно возможностей обойти их в процессе перезагрузки, ну и несколько дырявый на выход фаервол.

тесты на кейлогеры проверяли, как я понимаю пока не на всех софтинах, но походу там должен быть практически нулевой результат у многих, потому что у того же ESS поведенческого блокиратора нет, значит он только известные кейлогеры способен отловить.

Виталий, Олег - я бы вам советовал, зарядить ваших спецов написать вайтпапер подробный на русском языке про эти тесты, чтобы всякие шарлатаны не дурили головы людям словами, что это типа какие-то там ликтесты фаерволов, которые никому не важны.

[Сергей Ильин 1538]

А почему Matousec рекомендует ("Get IT Now!") два не самых лучших по результатам теста продукта: Outpost и Касперского? Эти продукты заняли 4-5 места, а про первые 4 никаких рекомендаций нет.

[Виталий Я. 859]

А почему Matousec рекомендует ("Get IT Now!") два не самых лучших по результатам теста продукта: Outpost и Касперского? Эти продукты заняли 4-5 места, а про первые 4 никаких рекомендаций нет.

Сергей, вы где такого там насмотрелись, что такое понаписали?

По-моему, он рекомендует как мимнимум 3 продукта - со 2, 4 и 5 мест. Ясное дело, он хочет аффилиатский процент от 3 прозводителей коммерческих фаерволов, который ему пойдет в т.ч. за рекомендацию якобы free верcии Online Armor - ссылка-то на BUY NOW + DOWNLOAD во всех 3 случаях.

[Илья Рабинович 521]

Сергей, тут интересная фишка- дело в том, что Jei (это человек, который делает ProSecurity) зачастую надолго пропадает с радаров своих пользователей.

[Сергей Ильин 1538]

Сергей, вы где такого там насмотрелись, что такое понаписали? ohmy.gif

Придется ткнуть носом, см. скриншот тут

Сергей, тут интересная фишка- дело в том, что Jei (это человек, который делает ProSecurity) зачастую надолго пропадает с радаров своих пользователей.

Спасибо, теперь понятно, первые два продукта бесплатные, а ProSecurity рекомендовать в таких условиях сложно.

[Виталий Я. 859]

Придется ткнуть носом, см. скриншот тут

Придется ответить, что современную версию я смотрю всегда по официальному адресу: http://www.matousec.com/projects/firewall-...nge/results.php, а не здесь на скринах, Сергей. На скриншоте - явно тот момент, когда Матусек еще не был аффилиатом 3 компаний, а только 2.

Второй продукт по ссылке с сайта Матусека приводит на коммерческую версию. А тестируется урезанная версия без Vista-поддержки и детекта кейлоггеров на уровне ядра, DNS Spoofing Protection и ряда прочих: http://www.tallemu.com/comparisons.html