Тестирование фаерволов от Matousec

[bse 115]

Что тут комментировать?

Не совсем понятно, извините.

Уважаемые эксперты, пожалуйста, прошу пояснить еще.

http://www.matousec.com/projects/firewall-...level.php?num=9

1. PASSED - тест пройден. Порог прохождения был 75%, теперь 50%. Любой участник тестирования, добравшийся до 9-го уровня, может его пройти, начиная с результата 51%. Это что, можно порушить операционную систему почти наполовину, и при этом быть в лидерах?

2. Как технически грамотно говорить:

- Windows и КИС совместимы на 89%

- Windows и КИС не совместимы на 11%

- КИС и Windows совместимы на 89%

- КИС и Windows не совместимы на 11%

- как-то еще иначе

3. Чем грозит пользователю не 100-процентная совместимость операционной системы и установленного в ней приложения? В каком случае это может проявиться на практике?

Спасибо.

P.S. Почему в вопросе КИС - потому, что он лучший в итоговой таблице ИС.

[p2u 824]

@ bse

Уровень 9 - это НЕ тест на совместимость программ защиты с Windows; это тест того, насколько драйвера программ защиты работают по стандартам Майкрософта. Естественно, если некоторые программы работают НЕ по стандартам, то тогда это может при определённых обстоятельствах оказаться даже преимуществом перед зловредами...

Paul

[bse 115]

Т.е. правильно говорить: драйвер KIS на 89% работает по стандартам микрософта. Это хорошо, потому что дает преимущества над зловредами. А Outpost FP - всего на 94%, и преимуществ у него меньше. А COMODO FP - на 100% и преимуществ не имеет. Так что ли?

А те, кто этот уровень не прошли - самые лучшие. У них преимуществ еще больше. Только винда при них может и не работать. А на неработающей винде и заразиться проблематично. Преимущество налицо. Так?

А стандарты микрософта - это не сама винда? Стандарты отдельно, винда отдельно? Или как?

[Ego1st 95]

bse почему вы перевираете то что написано?

то тогда это может при определённых обстоятельствах оказаться даже преимуществом перед зловредами

чего непонятно в этой фразе?

[bse 115]

почему вы перевираете то что написано?

потому, что не понимаю

чего непонятно в этой фразе?

мне не понятно

тогда

когда?

это может

а может и не может?

при определённых обстоятельствах

каких конкретно?

Напишите один раз понятно, чтобы не было разночтений. Или это невозможно?

[Ego1st 95]

а может и не может?

да, там именно написано что может и не может..

каких конкретно?

вы думаете вам кто-то ответит на этот вопрос? попросите тогда сразу все исходники продукта чего мелочиться..

[bse 115]

Надеюсь, хоть авторитетно пообещают, что это действительно так.

А как тогда все же правильно говорить?

Драйвер KIS на 89% работает по стандартам микрософта.

Все, без комментариев, просто факт?

[p2u 824]

@ bse

Если враг знает, что вы играете всегда по честным правилам, и что все ваши реакции полностью предсказуемы, то тогда он может вас легко победить, правильно? Дам некоторые примеры. Хотя они могут быть технически не совсем корректные, они помогут вам понять в чём дело.

Допустим, что по правилам Майкрософта положено перехватывать только 9 процессов на уровне ядра, а вы делали продукт, который перехватывает их целых 15, то тогда писателю зловредов придётся уже заточить свои техники специально против вас, что с точки зрения его 'бизнеса' невыгодно.

Ещё пример - программы защиты применяют всякие перехваты на уровне ядра, но их слабое место в том, что они плохо проверяют, остался ли этот контроль у них или нет. Ну вот. А для того, чтобы улучшить контроль этих перехватов, вы отходите от правил Майкрософта. Что получается? Вы нас на практике лучше защищаете, но по Матушека вы провалили тест потому что при наличии глупого зловреда на этом уровне, который на это не рассчитывал, система начинает зависать немножко.

А самый бредовый: когда пытаются убить ваш продукт на уровне ядра, и вы даёте отпор, по Матушека нельзя, чтобы был синий экран при этом, потому что это плохо и неудобно для клиента...

Paul

[dot_sent 140]

Надеюсь, хоть авторитетно пообещают, что это действительно так.

А как тогда все же правильно говорить?

Драйвер KIS на 89% работает по стандартам микрософта.

Все, без комментариев, просто факт?

Примерно так.

К вопросу о том, где может помочь нарушение стандартов - например, некоторые методики сокрытия процессов в Ring-0 не могут быть обнаружены документированными методами.

[Sergey Krasnov 100]

Коллеги, прошу прощения, что не по теме обсуждения самого тестирования, но хотелось бы прояснить таки один вопрос, поднятый в этой теме.

Коллеги из ЛК, признайтесь, пожалуйста, кто писал эту новость?

А мы переманили у вас авторов описания Нортон Первый шаг, которые считают, что там есть антишпион

Олег, в пресс-релизе про "Первый Шаг" все правильно было написано, а на других сайтах, в т.ч. и внешних (содержащих ошибку) давным-давно уже исправили текст.

У вас же на сайте до сих пор неправда написана, как и на других сайтах, разместивших по цепочке вашу новость.

"Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинства тестовых испытаний."

ЛК намеренно занимается подачей неверной информации? Надеюсь, что нет.

ЛК будет исправлять текст или компания не считает это нужным?

[Deja_Vu 366]

ЛК намеренно занимается подачей неверной информации? Надеюсь, что нет.

ЛК будет исправлять текст или компания не считает это нужным?

Извините, а что в новости не правда?

Добавлено

ой дествительно, симантек надо вычеркнуть.

[Ashot 110]

Извините, а что в новости не правда?

Да хотя бы то, что 10+ это не высшая оценка, а Level reached. А оценка это скорее Protection level. Но это теперь мы тут обсуждаем, а народ схавал и врятли даже кто-то сходил по линку на сайт с результатами

[Виталий Я. 859]

Да хотя бы то, что 10+ это не высшая оценка, а Level reached. А оценка это скорее Protection level. Но это теперь мы тут обсуждаем, а народ схавал и врятли даже кто-то сходил по линку на сайт с результатами

В любом случае, спасибо Касперским за PR Matousec.com - у самого Дэвида или у нас (как победителей его тестов) так хорошо еще не получалось

Во всяком случае вот что говорит Alexa про тот самый период выпуска обсуждаемого пресс-релиза.

[georgy_n 80]

спасибо Касперским за PR Matousec.com

Виталий, я стал пользователем Outpost скорее случайно, и связано это с переходом на Vista. За долгий период я привык к файрволлу, он стал казаться мне удобным и надежным. Надежность его не оспариваю, мне хватает, но под Vista - глючит часто, загружаясь серым значком. Исправляйте баги, не смотрите на остальных.. ЛК не соперник Agnitum в части FW - бесспорно. Но берите от остальных только хорошее.. например, тому же Webroot Spy Sweeper не помешало взять движок Sophos. Ложняков куча? - есть, но и используемый ныне в продуктах Agnitum не лучше, только дырявее..

[Виталий Я. 859]

Виталий, я стал пользователем Outpost скорее случайно, и связано это с переходом на Vista. За долгий период я привык к файрволлу, он стал казаться мне удобным и надежным. Надежность его не оспариваю, мне хватает, но под Vista - глючит часто, загружаясь серым значком. Исправляйте баги, не смотрите на остальных.. ЛК не соперник Agnitum в части FW - бесспорно. Но берите от остальных только хорошее.. например, тому же Webroot Spy Sweeper не помешало взять движок Sophos. Ложняков куча? - есть, но и используемый ныне в продуктах Agnitum не лучше, только дырявее..

Давайте структурированно смотреть на вещи:

1. Vista не идеальна. SP1 принес за собой как закрытие ряда дыр, так и усилил ее подглючивание, не зря так много речи идет про W7 (уже находящейся в доступной разработчикам "альфе"). На "голой" системе можно работать только после твикеров или кропотливой мануальной хирургии. Тем не менее именно "благодаря" Висте мы переехали на полностью новый движок с новым уровнем безопасности, самозащиты и совместимости.

2. Любые утверждения имеют свойство устаревать или иметь неочевидные точки зрения, которые делают факты несколько иными в другом свете. В данном случае недосказанность решает вопрос в пользу ЛК и не в пользу Агнитум и Symantec. Поэтому и вопросы к представителям - отчего?

3. Что касается работы модуля Anti-Spyware, пишите пожелания, учтем. Насчет "дырявее" применительно к антишпионскому движку - очень сильно сомневаюсь, давайте в личке обсудим, а потом огласим выводы .

[georgy_n 80]

Что касается работы модуля Anti-Spyware, пишите пожелания, учтем. Насчет "дырявее" применительно к антишпионскому движку - очень сильно сомневаюсь, давайте в личке обсудим, а потом огласим выводы

Давайте не будем обсуждать через PM, просто некогда - честно. Но я имел в виду не антишпиона (бесполезного с моей точки зрения от любого разработчика), а антивирус. Webroot не оригинальна и недавно свет увидели продукты антишпион + антивирус с движком Sophos.

[bse 115]

Дам некоторые примеры. Хотя они могут быть технически не совсем корректные, они помогут вам понять в чём дело.

Спасибо. Следующий вопрос. Все недостающие 11% - это те полезные нарушения стандартов, о которых Вы сказали, или в это число входят еще и банальные ошибки?

некоторые методики сокрытия процессов в Ring-0 не могут быть обнаружены документированными методами.

Спасибо. А недокументированными - могут?

[p2u 824]

(о нарушениях стандартов Майкрософта:

Все недостающие 11% - это те полезные нарушения стандартов, о которых Вы сказали, или в это число входят еще и банальные ошибки?

Естественно нарушение стандартов может иметь и негативные результаты; этого отрицать нельзя. Возможно и ошибки присутствуют - у меня нет доступа к таким данным.

(о методах сокрытия процессов)

А недокументированными - могут?

Естественно - этим пользуется 'враг'. В Windows много секретов, и на уровне ядра вообще предела нет...

Paul

[bse 115]

Возможно и ошибки присутствуют - у меня нет доступа к таким данным.

А у кого есть? Ведь получается:

Нет доступа к данным - нет данных.

Нет данных - нет доказательств.

Нет доказательств - есть бсоды.

Есть бсоды, у матусика в тестах они просто есть.

Есть бсоды - нет совместимости.

Нет совместимости, ее просто нет. Почему ее нет и для чего ее нет - это же совсем другие вопросы.

Выходит, так? Или я снова все путаю?

Естественно - этим пользуется 'враг'. В Windows много секретов

Про чьи НДВ речь? Винды или антивирусных продуктов?

Враг - это вирус, который винду заражает? А враг в кавычках - это антивирус, который винду рушит?

[Ashot 110]

Есть бсоды, у матусика в тестах они просто есть.

Давайте все же понимать одну вещь - работа под драйверверифаером это не стандартное поведение, если у езера происходит запуск под верифаером - с вероятностью 100% это не юзер синяки в этих тестах (на сколько я могу судить, по информации с сайта) не отражают реальной стабильности продукта на юзерской системе любой серьезный продукт по безопасности с ядерной частью будет использовать недокументированные ф-ции (хотя бы для защиты от привилегированных юзеров и процессов), хотим мы того или нет. под Vista 64-bit это в меньшей степени возможно, а на 32-х битных системах - в большей. есть области вообще полностью скрытые микрософтом (например пресловутый кеш манагер, кто знает как проходила проверка исходников винды, "открытых" для "органов", может подтвердить ) от третьих вендоров, поэтому там тоже хочешь/нехочешь приходится ковырять внутренности. ну и т.п.

[bse 115]

Хорошо, всем спасибо. А как вы отнесетесь к такой фразе? Прошу экспертной оценки.

Продукт, который прошел 9-й уровень тестов матусиков с показателем менее 100%, не совместим со стандартами микрософта. Несовместимость со стандартами микрософта в продукте сделана для повышения его защитных возможностей в противостоянии зловредам. Если кто-то хочет использовать несовместимый со стандартами микрософта продукт, он должен быть готов к тому, что некоторые функции операционной системы могут оказаться нарушенными. Выбирая продукт защиты, сами решайте, что для вас важнее - большая совместимость или большая безопасность.

Такая фраза имеет право на жизнь? Если - нет, пожалуйста, напишите свои.

[dot_sent 140]

Хорошо, всем спасибо. А как вы отнесетесь к такой фразе? Прошу экспертной оценки.

Продукт, который прошел 9-й уровень тестов матусиков с показателем менее 100%, не совместим со стандартами микрософта. Несовместимость со стандартами микрософта в продукте сделана для повышения его защитных возможностей в противостоянии зловредам. Если кто-то хочет использовать несовместимый со стандартами микрософта продукт, он должен быть готов к тому, что некоторые функции операционной системы могут оказаться нарушенными. Выбирая продукт защиты, сами решайте, что для вас важнее - большая совместимость или большая безопасность.

Такая фраза имеет право на жизнь? Если - нет, пожалуйста, напишите свои.

Я хоть и не эксперт, но сформулировал бы так: "...Несовместимость со стандартами микрософта в продукте могла быть сознательно допущена разработчиком для повышения его защитных возможностей в противостоянии зловредам либо (реже) является результатом ошибок при разработке продукта. В любом случае, если кто-то хочет использовать..." и так далее по тексту.

[Ashot 110]

не совместим со стандартами микрософта

у микрософта много стандартов и в общем случаи совместимость может подтвердить только VeriTest...

хочу еще заметить, что большинство драйверов всяких железок (особенно блутусов, 3G-карт и прочего зла) не совместима даже с мозгом приличного девелопера (ну там комплиты уже закомпличенных IRP и прочие индийско-китайские проделки) Это я к тому, что в чем смыл вообще это писать и выделять как-то особенно файрволы?

[bse 115]

Спасибо ответившим. Может кто из экспертов еще отзовется? Пожалуйста, те у кого по-матусикам меньше 100%.

в чем смыл вообще это писать и выделять как-то особенно файрволы?

Потому, что по теме.

[p2u 824]

Такая фраза имеет право на жизнь?

Имеет, естественно. Но она НЕ ТОЛЬКО относится к продуктам безопасности. Что вы думаете про всякие плееры, например со своими ActiveX модулями? Там безопасность вообще на последнем месте стоит...

* То, что Матушек не рекомендуют против тех продуктов, которые не прошли уровень 9 на 100% всё-таки имеет значение. И если речь идёт о совместимости/несовместимости, то тогда я не думаю, что все продукты, которые прошли этот уровень на 100% совместимы друг с другом.

* Если у меня выбор: 'безопасность' или 'функциональность/производительность', то тогда я всё равно выбираю безопасность. Хотя, как я не раз уже писал - безопасность ОС зависит не от программ защиты, а от настроек самой системы и установленных программ...

Paul