Тестирование фаерволов от Matousec

[DWState 30]

Тесты, проводимые Matousec Transparent Security, являются одними из наиболее технологически сложных среди всех существующих и оценивают продукты по тем показателям, которые остаются вне поля зрения других авторитетных тестов, таких как AV-Test и AV-Comparatives. В ходе тестов продукты последовательно проходят различные уровни проверки. Для перехода на следующий уровень тестируемое решение должно показать как минимум 50%-ный результат. Максимальным результатом теста является 10+.

Такой показатель свидетельствует об успешном прохождении всех десяти уровней. Всего в тестировании приняло участие 37 различных решений классов Internet Security и Personal Firewall.

Тестируемые продукты прошли через многоуровневую систему оценки более чем из семидесяти тестов, включающих в себя основные испытания: General bypassing test (тест на обход защиты), который определяет способность защитного решения противостоять самым сложным способам внедрения и сокрытия вредоносного кода, Leak-test (тест на утечку данных), определяющий способность продукта успешно осуществлять "последнюю линию обороны" - не допустить кражи персональных данных клиента в том случае, если все прочие способы защиты (проактивные, эвристические, сигнатурные, поведенческие) оказались бессильны. Кроме того, используется Performance test (тест на производительность) - оценка влияния работы продукта на систему пользователя и Spying test (тест на перехват данных), который является одним из важнейших показателей надежности антивирусного решения. Также лаборатория применяет и Termination test (тест на самозащиту), показывающий, насколько успешно антивирусные решения могут противодействовать попыткам прекращения своей работы и повреждениям в своих процессах и файлах.

Результаты - http://www.matousec.com/projects/firewall-...nge/results.php

[Deja_Vu 366]

Ну-у, как бы боян, извиняюсь - ретро.

Переодически туда смотрим. Тема про Matousec уже есть.

---

тем более, перечисляемые лабы не тестируют фаерволы - так что новость корявая -))

[DWState 30]

Согласен есть тема, просто там указано - март, а теперь все тесты туда суют от этой лабы.

Можно удалить тему

[Deja_Vu 366]

Согласен есть тема, просто там указано - март, а теперь все тесты туда суют от этой лабы.

Просто у них нет такого понятия как тестирование за месяц.

Они время от времени тестируют новые версии продуктов и добавляют\изменяют результаты в своей табличке -))

[Виталий Я. 859]

Класс, что пишут: http://www.thg.ru/technews/20081108_222710.html "KIS 2009 удостоился высшей оценки лаборатории Matousec Transparent Security"

"Лаборатория Касперского", производитель надёжных систем защиты от вредоносного и нежелательного ПО, хакерских атак и спама, сообщает о присуждении новому персональному продукту компании, KIS 2009 (Kaspersky Internet Security), высшей оценки авторитетной тестовой лаборатории Matousec Transparent Security.

"Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинство тестовых испытаний."

Очень сильно задумался.

[Иван 290]

Kaspersky Internet Security 2009 удостоился максимальной оценки 10+ лаборатории Matousec Transparent Security

Также необходимо отметить, что результата 10+, кроме KIS 2009, удалось достичь всего четырем продуктам, причем относящимся к другому классу (сетевой экран, файервол) и не имеющим в своем функционале антивирусной защиты. Тест Matousec Transparent Security убедительно доказал, что KIS 2009 является уникальным решением, успешно объединяющим в себе не только множество антивирусных технологий, но и в полной мере олицетворяющим собой само понятие Internet Security. Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинства тестовых испытаний.

а что вам в этом тексте не нравится? не упомянут ваш фаервол?

так этож классика маркетоидного жанра, в тексте все четко хоть и на грани

ну примерно как здесь

Приводимая ниже таблица составлена не самим Рубенкингом или его коллегами, а нами - в соответствие с рейтингом, который исследователь атрибутировал нижеперечисленным продуктам...

http://www.internet-security.ru/2008/06/26/antispy/

так шо не надо так морщить лоб, расслабтесь

[Виталий Я. 859]

Ну тут не мне возмущаться, а Symantec - они-то в курсе, что у них не 71% и 7ой уровень, а меньше половины?

[Иван 290]

они-то в курсе, что у них не 71% и 7ой уровень, а меньше половины?

[Виталий Я. 859]

Пожалуй, скоро опубликуем дополненную табличку. Добро пожаловать на блог Internet Security

[p2u 824]

не могли бы Вы прокомментировать результаты лидеров этого тестирования на 9-м уровне?

На данном уровне Матушек пытается установить насколько драйвера тестируемых продуктов стабильно работают в системе. То есть; для того, чтобы на 100% пройти этот тест, не должны присутствовать определённые проблемы, которые могут сказаться на систему в целом. Матушек ничего хитрого не делает здесь - он использует стандартную тулзу Майкрософта Driver Verifier, с помощью которой можно обнаружить ошибки (и/или отклонения от стандарта) работы драйверов.

Радуют, как всегда, бесплатные продукты; поэтому я их выделил отдельно.

Comodo 3 (бесплатный) - прошёл на 100%

Online Armor Free (безплатный) - прошёл на 100%

PC Tools (бесплатный) - прошёл на 100%

Online Armor (платный) - прошёл на 100%

Privatefirewall (платный) - прошёл на 100%

ProSecurity (платный) - прошёл на 100%

Outpost Pro (платный) - прошёл на 94% (система неожиданно зависла во время теста DVFF)

KIS (платный) - прошёл на 89% (в результате тестов DV04 и DVFF компьютером пользоваться больше нельзя было)

ZoneAlarm Pro (платный) - прошёл на 89% (провалил DVFF - предполагаю, что произошёл полный отказ системы)

Все остальные либо до самого теста либо даже до 50% не дошли. Что тут комментировать?

P.S.: Я хотел бы видеть серьёзное, профессиональное тестирование всех продуктов по предмету защиты от атак извне. Недавно найденная уязвимость в службе Сервер (и, что самое главное - успешное её эксплуатирование) показывает, что с этим не всё в порядке. Это имеет огромное значение для тех, у которых есть локальная сеть провайдера (по умолчанию доверяется, и эту локалку определить якобы как 'Публичная Сеть' - не помогает; систему не обманиваешь такими трюками).

Paul

[Виталий Я. 859]

Мы дали развернутый комментарий, а то пользователи и партнеры уже сильно волнуются, что нас эдак лихо задвинули коллеги из ЛК (судя по ковровой бомбардировке европейской прессы - немецкой, польской, русской - из EEMEA) из Matousec Firewall Challenge.

http://www.internet-security.ru/2008/11/11...wall-challenge/

На всякий случай совет обсуждающим - take it easy

[_Stout 131]

Мы дали развернутый комментарий, а то пользователи и партнеры уже сильно волнуются, что нас эдак лихо задвинули коллеги из ЛК (судя по ковровой бомбардировке европейской прессы - немецкой, польской, русской - из EEMEA) из Matousec Firewall Challenge.

http://www.internet-security.ru/2008/11/11...wall-challenge/

На всякий случай совет обсуждающим - take it easy

Коллега, не стоило добавлять то, что идет после слов "Нам остается лишь добавить...". Фигня-с получается.

[Виталий Я. 859]

Коллега, не стоило добавлять то, что идет после слов "Нам остается лишь добавить...". Фигня-с получается.

Думаете, не по-блоггерски финальный аккорд прозвучал? Или считаете, что потенциальный холивар может перегреть движок блога?

[Олег Гудилин 95]

Думаете, не по-блоггерски финальный аккорд прозвучал? Или считаете, что потенциальный холивар может перегреть движок блога?

Если честно нам пофиг, поскольку в табличке с тестом лучшим Internet Security является KIS2009, а OSS2009 в тесте не участвовал

И это ваша теперь забота ходить и доказывать, что OSS ну точно также проходит килтесты, как OF.

Только не говорите мне, что Матюшек берет, что под руку попадется, и тестирует, а вы не можете написать ему письмо с просьбой протестировать именно OSS:)

А по поводу лучшего на свете фаервола, так лучше наверное Comodo - он ведь бесплатный, а в тесте хуже OF ну совсем чуток Наверное стоит рекомендовать его в связке с антивирусом, надо подумать

Топик стартеру - это не тест фаерволов в их классическом понимании, сколько еще можно объяснять?

This project examines personal firewalls, Internet security suites and other similar products for Windows OS that implement process-based security. We call all such products personal firewalls. In our opinion, personal firewalls should prevent spying and data and identity theft. So, we require personal firewalls to include host protection features too. The list of personal firewalls we are aware of is available on the product list page. We know that our terminology may be in conflict with the common understanding of what the firewalls are. To distinguish between personal firewalls and firewalls in the common sense, we call the later packet filters. A typical example of a packet filter is WIPFW. Most of the personal firewalls include a packet filter component. Simple packet filters are not worse than personal firewalls, they are just different kind of software – for different kind of users. This project does not examine stand-alone packet filters.

Кстати у Матюшека новости: Major changes in Firewall Challenge http://www.matousec.com/

[Илья Рабинович 521]

так лучше наверное Comodo - он ведь бесплатный

Сильно сомнительное достоинство.

[Umnik 997]

Очень весомый аргумент, между прочим.

[p2u 824]

А по поводу лучшего на свете фаервола, так лучше наверное Comodo - он ведь бесплатный, а в тесте хуже OF ну совсем чуток Наверное стоит рекомендовать его в связке с антивирусом, надо подумать

Как я понял, Comodo Personal Firewall как таковой уже не существует - теперь на сайте Comodo только выбор из 2-х:

* COMODO Internet Security (бесплатный)

- Firewall Protection

- AntiVirus Software

- Proactive Security

* COMODO Internet Security PRO (платный)

- Firewall Protection

- AntiVirus Software

- Proactive Security

- TrustConnect™ (защита WiFi по моему)

+ обширная техподдержка

Так как движок их антвируса будет всё равно присутствовать в продукте, следует ожидать одни проблемы если вы хотите от него отказаться в пользу других антивирусных программ.

Paul

[Sergey Krasnov 100]

Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинство тестовых испытаний.

Ну тут не мне возмущаться, а Symantec - они-то в курсе, что у них не 71% и 7ой уровень, а меньше половины?

Виталий, спасибо за ссылку, повеселил.

Я думал, что кто-то из THG это написал, ан нет, оригинал новости таки у ЛК на сайте.

Видимо, у коллег из ЛК свое видение, что такое "большинство". Получается, что 71% для них - это меньшинство. Весьма своеобразное трактование результатов.

Коллеги из ЛК, признайтесь, пожалуйста, кто писал эту новость?

Сергей, по поводу альтернативного тестирования от Anti-malware.ru - мы только за!

[Виталий Я. 859]

И это ваша теперь забота ходить и доказывать, что OSS ну точно также проходит килтесты, как OF.

Нет, Олег, это теперь ваша забота - перед Symantec оправдываться и отвечать на комменты прессы по мотивам нашего блога.

А OSS в том же конфиге, что и OFP, не хуже и не лучше "материнского" продукта.

[Олег Гудилин 95]

Коллеги из ЛК, признайтесь, пожалуйста, кто писал эту новость?

А мы переманили у вас авторов описания Нортон Первый шаг, которые считают, что там есть антишпион

Нет, Олег, это теперь ваша забота - перед Symantec оправдываться и отвечать на комменты прессы по мотивам нашего блога.

Ваш блог не сильно похож на эрогенную зону индустрии, поэтому не сильно возбуждает журналистов.

А OSS в том же конфиге, что и OFP, не хуже и не лучше "материнского" продукта.

Пока нет теста OSS2009 - это все только слова.

[Виталий Я. 859]

Ваш блог не сильно похож на эрогенную зону индустрии, поэтому не сильно возбуждает журналистов.

Пока нет теста OSS2009 - это все только слова.

Олег, ну после того как вы долгое время крутили продукты Агнитум, смешное заявление.

Я понимаю, в Outpost Antivirus от HIPS "отрезаны" все околосетевые фичи поведенческого блокиратора, но OSSP 2009 - в чистом виде OFP 2009 с антимальварной частью и антиспамом, которые у Матушека ну никак не тестируются. А журналистов возбудить - дело накачки, как в лазере

Вот тогда этой лазерной указкой мы и воспользуемся, чтобы указать на явное несоответствие.

Кстати, в последний раз Матусек не спросясь взял продукт и у Агнитум, и у Комодо, и у Панды (судя по "неполным" с вашей точки зрения версиям флагманских комплексов защиты, которые якобы не соревнуются с вашим Internet Security, участвовавшим в тестах).

Маркетинговый булшит, как оказалось, оружие переходящее. Ну да ладно, мы партнерам свою точку зрения объяснили. Дело за малым - релизнуть следующий билд OSS2009, который опять на полголовы выше будет даже в запутанных тестах Матушека.

По идее (согласно текущим правилам тестов), Дэвид раньше января не станет все переделывать, хотя кто знает...

[Олег Гудилин 95]

Олег, ну после того как вы долгое время крутили продукты Агнитум, смешное заявление.

Я понимаю, в Outpost Antivirus от HIPS "отрезаны" все околосетевые фичи поведенческого блокиратора, но OSSP 2009 - в чистом виде OFP 2009 с антимальварной частью и антиспамом, которые у Матушека ну никак не тестируются.

Виталий, вполне возможно, что я что-то делаю не так, тогда Вы вопрос изучите и меня поправите. Но вот у меня XP SP2 как у Матюшека, и последняя, обновленная версия OSS, которая на данный момент в режиме обучения.

И вот результат на некторых тестах Матюшека:

Security Software Testing Suite - Crash4

Copyright by Matousec - Transparent security

http://www.matousec.com/

Unable to open process PID 168 directly, trying duplication method ...

Unable to open process PID 168 using duplication method, trying handle stealing method ...

Unable to open process PID 1680 directly, trying duplication method ...

Unable to open process PID 1680 using duplication method, trying handle stealing method ...

Try to work with the target processes in next 20 seconds to crash them.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 168) still exists.

Process "op_mon.exe" (PID 1680) was successfully terminated.

YOUR SYSTEM FAILED THE TEST!

Security Software Testing Suite - Crash5

Copyright by Matousec - Transparent security

http://www.matousec.com/

Unable to open process PID 168 directly, trying duplication method ...

Unable to open process PID 168 using duplication method, trying handle stealing method ...

Unable to open process PID 392 directly, trying duplication method ...

Unable to open process PID 392 using duplication method, trying handle stealing method ...

Try to work with the target processes in next 60 seconds to crash them.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 168) was successfully terminated.

Process "op_mon.exe" (PID 392) still exists.

YOUR SYSTEM FAILED THE TEST!

Security Software Testing Suite - kill8

Copyright by Matousec - Transparent security

http://www.matousec.com/

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) was successfully terminated.

Process "op_mon.exe" (PID 876) was successfully terminated.

YOUR SYSTEM FAILED THE TEST!

Security Software Testing Suite - Kill11

Copyright by Matousec - Transparent security

http://www.matousec.com/

Hooks installed, try to work with the target processes in next 20 seconds to terminate them.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 568) still exists.

Process "op_mon.exe" (PID 820) was successfully terminated.

YOUR SYSTEM FAILED THE TEST!

Повторюсь, может быть я что-то делаю не так...но килы с настроенным на OSS конфигурационным файлом во вложении.

OSSKILL.rar

OSSKILL.rar

[Олег Гудилин 95]

Может быть стоит anti-malware создать свои тесты 'Firewall Challenge' но с настоящими зловредами (спам-боты, черви какие-нибудь), а? Естественно антивирусы отключаем, чтобы шансы были равны. Во-первых, будет мировая премьера. Во-вторых, думаю, что результаты будут намного интереснее, и Матушека со своими симуляторами отправим в Службу Занятости; уже давно пора...

Идея хорошая, но кто и по каким критериям будет отбирать зловредов? Вот с этим неплохо бы определиться.

[Сергей Ильин 1538]

Обсуждение методологии будущего теста фаерволов от Anti-Malware.ru вынесено в отдельную тему

http://www.anti-malware.ru/forum/index.php?showtopic=5894

Будте внимательны!

[Виталий Я. 859]

Виталий, вполне возможно, что я что-то делаю не так, тогда Вы вопрос изучите и меня поправите. Но вот у меня XP SP2 как у Матюшека, и последняя, обновленная версия OSS, которая на данный момент в режиме обучения.

Олег, разумеется, мне лично остается только поблагодарить Вас (хотя мы вроде на "ты" ) за итоги тестов нашего решения. Конфиг передам тестерам и специалисту с аналогичным Вашему профилем, пусть посмотрят. Для KIS 2009 не хотите ли выложить подобные же тесты?

Отредактировал Ноябрь 14, 2008 Виталий Я.
поправил тег цитаты