Перейти к содержанию
DWState

Тестирование фаерволов от Matousec

Recommended Posts

DWState

Тесты, проводимые Matousec Transparent Security, являются одними из наиболее технологически сложных среди всех существующих и оценивают продукты по тем показателям, которые остаются вне поля зрения других авторитетных тестов, таких как AV-Test и AV-Comparatives. В ходе тестов продукты последовательно проходят различные уровни проверки. Для перехода на следующий уровень тестируемое решение должно показать как минимум 50%-ный результат. Максимальным результатом теста является 10+.

Такой показатель свидетельствует об успешном прохождении всех десяти уровней. Всего в тестировании приняло участие 37 различных решений классов Internet Security и Personal Firewall.

Тестируемые продукты прошли через многоуровневую систему оценки более чем из семидесяти тестов, включающих в себя основные испытания: General bypassing test (тест на обход защиты), который определяет способность защитного решения противостоять самым сложным способам внедрения и сокрытия вредоносного кода, Leak-test (тест на утечку данных), определяющий способность продукта успешно осуществлять "последнюю линию обороны" - не допустить кражи персональных данных клиента в том случае, если все прочие способы защиты (проактивные, эвристические, сигнатурные, поведенческие) оказались бессильны. Кроме того, используется Performance test (тест на производительность) - оценка влияния работы продукта на систему пользователя и Spying test (тест на перехват данных), который является одним из важнейших показателей надежности антивирусного решения. Также лаборатория применяет и Termination test (тест на самозащиту), показывающий, насколько успешно антивирусные решения могут противодействовать попыткам прекращения своей работы и повреждениям в своих процессах и файлах.

Результаты - http://www.matousec.com/projects/firewall-...nge/results.php

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Ну-у, как бы боян, извиняюсь - ретро.

Переодически туда смотрим. Тема про Matousec уже есть.

---

тем более, перечисляемые лабы не тестируют фаерволы - так что новость корявая -))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Согласен есть тема, просто там указано - март, а теперь все тесты туда суют от этой лабы.

Можно удалить тему

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Согласен есть тема, просто там указано - март, а теперь все тесты туда суют от этой лабы.

Просто у них нет такого понятия как тестирование за месяц.

Они время от времени тестируют новые версии продуктов и добавляют\изменяют результаты в своей табличке -))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Класс, что пишут: http://www.thg.ru/technews/20081108_222710.html "KIS 2009 удостоился высшей оценки лаборатории Matousec Transparent Security"

"Лаборатория Касперского", производитель надёжных систем защиты от вредоносного и нежелательного ПО, хакерских атак и спама, сообщает о присуждении новому персональному продукту компании, KIS 2009 (Kaspersky Internet Security), высшей оценки авторитетной тестовой лаборатории Matousec Transparent Security.

"Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинство тестовых испытаний."

Очень сильно задумался.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Kaspersky Internet Security 2009 удостоился максимальной оценки 10+ лаборатории Matousec Transparent Security
Также необходимо отметить, что результата 10+, кроме KIS 2009, удалось достичь всего четырем продуктам, причем относящимся к другому классу (сетевой экран, файервол) и не имеющим в своем функционале антивирусной защиты. Тест Matousec Transparent Security убедительно доказал, что KIS 2009 является уникальным решением, успешно объединяющим в себе не только множество антивирусных технологий, но и в полной мере олицетворяющим собой само понятие Internet Security. Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинства тестовых испытаний.

а что вам в этом тексте не нравится? не упомянут ваш фаервол?

так этож классика маркетоидного жанра, в тексте все четко хоть и на грани

ну примерно как здесь

Приводимая ниже таблица составлена не самим Рубенкингом или его коллегами, а нами - в соответствие с рейтингом, который исследователь атрибутировал нижеперечисленным продуктам...
http://www.internet-security.ru/2008/06/26/antispy/

так шо не надо так морщить лоб, расслабтесь

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Ну тут не мне возмущаться, а Symantec - они-то в курсе, что у них не 71% и 7ой уровень, а меньше половины? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
они-то в курсе, что у них не 71% и 7ой уровень, а меньше половины?

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
:)

Пожалуй, скоро опубликуем дополненную табличку. Добро пожаловать на блог Internet Security ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
не могли бы Вы прокомментировать результаты лидеров этого тестирования на 9-м уровне?

На данном уровне Матушек пытается установить насколько драйвера тестируемых продуктов стабильно работают в системе. То есть; для того, чтобы на 100% пройти этот тест, не должны присутствовать определённые проблемы, которые могут сказаться на систему в целом. Матушек ничего хитрого не делает здесь - он использует стандартную тулзу Майкрософта Driver Verifier, с помощью которой можно обнаружить ошибки (и/или отклонения от стандарта) работы драйверов.

Радуют, как всегда, бесплатные продукты; поэтому я их выделил отдельно.

Comodo 3 (бесплатный) - прошёл на 100%

Online Armor Free (безплатный) - прошёл на 100%

PC Tools (бесплатный) - прошёл на 100%

Online Armor (платный) - прошёл на 100%

Privatefirewall (платный) - прошёл на 100%

ProSecurity (платный) - прошёл на 100%

Outpost Pro (платный) - прошёл на 94% (система неожиданно зависла во время теста DVFF)

KIS (платный) - прошёл на 89% (в результате тестов DV04 и DVFF компьютером пользоваться больше нельзя было)

ZoneAlarm Pro (платный) - прошёл на 89% (провалил DVFF - предполагаю, что произошёл полный отказ системы)

Все остальные либо до самого теста либо даже до 50% не дошли. Что тут комментировать?

P.S.: Я хотел бы видеть серьёзное, профессиональное тестирование всех продуктов по предмету защиты от атак извне. Недавно найденная уязвимость в службе Сервер (и, что самое главное - успешное её эксплуатирование) показывает, что с этим не всё в порядке. Это имеет огромное значение для тех, у которых есть локальная сеть провайдера (по умолчанию доверяется, и эту локалку определить якобы как 'Публичная Сеть' - не помогает; систему не обманиваешь такими трюками).

Paul

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Мы дали развернутый комментарий, а то пользователи и партнеры уже сильно волнуются, что нас эдак лихо задвинули коллеги из ЛК (судя по ковровой бомбардировке европейской прессы - немецкой, польской, русской - из EEMEA) из Matousec Firewall Challenge.

http://www.internet-security.ru/2008/11/11...wall-challenge/

На всякий случай совет обсуждающим - take it easy :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Мы дали развернутый комментарий, а то пользователи и партнеры уже сильно волнуются, что нас эдак лихо задвинули коллеги из ЛК (судя по ковровой бомбардировке европейской прессы - немецкой, польской, русской - из EEMEA) из Matousec Firewall Challenge.

http://www.internet-security.ru/2008/11/11...wall-challenge/

На всякий случай совет обсуждающим - take it easy :)

Коллега, не стоило добавлять то, что идет после слов "Нам остается лишь добавить...". Фигня-с получается.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Коллега, не стоило добавлять то, что идет после слов "Нам остается лишь добавить...". Фигня-с получается.

Думаете, не по-блоггерски финальный аккорд прозвучал? :) Или считаете, что потенциальный холивар может перегреть движок блога?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Думаете, не по-блоггерски финальный аккорд прозвучал? :) Или считаете, что потенциальный холивар может перегреть движок блога?

Если честно нам пофиг, поскольку в табличке с тестом лучшим Internet Security является KIS2009, а OSS2009 в тесте не участвовал:)

И это ваша теперь забота ходить и доказывать, что OSS ну точно также проходит килтесты, как OF.

Только не говорите мне, что Матюшек берет, что под руку попадется, и тестирует, а вы не можете написать ему письмо с просьбой протестировать именно OSS:)

А по поводу лучшего на свете фаервола, так лучше наверное Comodo - он ведь бесплатный, а в тесте хуже OF ну совсем чуток:) Наверное стоит рекомендовать его в связке с антивирусом, надо подумать:)

Топик стартеру - это не тест фаерволов в их классическом понимании, сколько еще можно объяснять?

This project examines personal firewalls, Internet security suites and other similar products for Windows OS that implement process-based security. We call all such products personal firewalls. In our opinion, personal firewalls should prevent spying and data and identity theft. So, we require personal firewalls to include host protection features too. The list of personal firewalls we are aware of is available on the product list page. We know that our terminology may be in conflict with the common understanding of what the firewalls are. To distinguish between personal firewalls and firewalls in the common sense, we call the later packet filters. A typical example of a packet filter is WIPFW. Most of the personal firewalls include a packet filter component. Simple packet filters are not worse than personal firewalls, they are just different kind of software – for different kind of users. This project does not examine stand-alone packet filters.

Кстати у Матюшека новости: Major changes in Firewall Challenge http://www.matousec.com/

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
так лучше наверное Comodo - он ведь бесплатный

Сильно сомнительное достоинство.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Очень весомый аргумент, между прочим.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
p2u
А по поводу лучшего на свете фаервола, так лучше наверное Comodo - он ведь бесплатный, а в тесте хуже OF ну совсем чуток:) Наверное стоит рекомендовать его в связке с антивирусом, надо подумать:)

Как я понял, Comodo Personal Firewall как таковой уже не существует - теперь на сайте Comodo только выбор из 2-х:

* COMODO Internet Security (бесплатный)

- Firewall Protection

- AntiVirus Software

- Proactive Security

* COMODO Internet Security PRO (платный)

- Firewall Protection

- AntiVirus Software

- Proactive Security

- TrustConnect™ (защита WiFi по моему)

+ обширная техподдержка

Так как движок их антвируса будет всё равно присутствовать в продукте, следует ожидать одни проблемы если вы хотите от него отказаться в пользу других антивирусных программ.

Paul

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Sergey Krasnov
Продукты других антивирусных производителей, таких как Trend Micro, McAfee, Symantec и ESET не выдержали большинство тестовых испытаний.
Ну тут не мне возмущаться, а Symantec - они-то в курсе, что у них не 71% и 7ой уровень, а меньше половины? :)

Виталий, спасибо за ссылку, повеселил.

Я думал, что кто-то из THG это написал, ан нет, оригинал новости таки у ЛК на сайте.

Видимо, у коллег из ЛК свое видение, что такое "большинство". Получается, что 71% для них - это меньшинство. Весьма своеобразное трактование результатов. :D

Коллеги из ЛК, признайтесь, пожалуйста, кто писал эту новость? ;)

Сергей, по поводу альтернативного тестирования от Anti-malware.ru - мы только за!

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
И это ваша теперь забота ходить и доказывать, что OSS ну точно также проходит килтесты, как OF.

Нет, Олег, это теперь ваша забота - перед Symantec оправдываться и отвечать на комменты прессы по мотивам нашего блога.

А OSS в том же конфиге, что и OFP, не хуже и не лучше "материнского" продукта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Коллеги из ЛК, признайтесь, пожалуйста, кто писал эту новость?

А мы переманили у вас авторов описания Нортон Первый шаг, которые считают, что там есть антишпион :)

Нет, Олег, это теперь ваша забота - перед Symantec оправдываться и отвечать на комменты прессы по мотивам нашего блога.

Ваш блог не сильно похож на эрогенную зону индустрии, поэтому не сильно возбуждает журналистов. :)

А OSS в том же конфиге, что и OFP, не хуже и не лучше "материнского" продукта.

Пока нет теста OSS2009 - это все только слова.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Ваш блог не сильно похож на эрогенную зону индустрии, поэтому не сильно возбуждает журналистов. :)

Пока нет теста OSS2009 - это все только слова.

Олег, ну после того как вы долгое время крутили продукты Агнитум, смешное заявление.

Я понимаю, в Outpost Antivirus от HIPS "отрезаны" все околосетевые фичи поведенческого блокиратора, но OSSP 2009 - в чистом виде OFP 2009 с антимальварной частью и антиспамом, которые у Матушека ну никак не тестируются. А журналистов возбудить - дело накачки, как в лазере ;)

Вот тогда этой лазерной указкой мы и воспользуемся, чтобы указать на явное несоответствие. :)

Кстати, в последний раз Матусек не спросясь взял продукт и у Агнитум, и у Комодо, и у Панды (судя по "неполным" с вашей точки зрения версиям флагманских комплексов защиты, которые якобы не соревнуются с вашим Internet Security, участвовавшим в тестах).

Маркетинговый булшит, как оказалось, оружие переходящее. Ну да ладно, мы партнерам свою точку зрения объяснили. Дело за малым - релизнуть следующий билд OSS2009, который опять на полголовы выше будет даже в запутанных тестах Матушека.

По идее (согласно текущим правилам тестов), Дэвид раньше января не станет все переделывать, хотя кто знает...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Олег, ну после того как вы долгое время крутили продукты Агнитум, смешное заявление.

Я понимаю, в Outpost Antivirus от HIPS "отрезаны" все околосетевые фичи поведенческого блокиратора, но OSSP 2009 - в чистом виде OFP 2009 с антимальварной частью и антиспамом, которые у Матушека ну никак не тестируются.

Виталий, вполне возможно, что я что-то делаю не так, тогда Вы вопрос изучите и меня поправите. Но вот у меня XP SP2 как у Матюшека, и последняя, обновленная версия OSS, которая на данный момент в режиме обучения.

OSS.PNG

И вот результат на некторых тестах Матюшека:

Security Software Testing Suite - Crash4

Copyright by Matousec - Transparent security

http://www.matousec.com/

Unable to open process PID 168 directly, trying duplication method ...

Unable to open process PID 168 using duplication method, trying handle stealing method ...

Unable to open process PID 1680 directly, trying duplication method ...

Unable to open process PID 1680 using duplication method, trying handle stealing method ...

Try to work with the target processes in next 20 seconds to crash them.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 168) still exists.

Process "op_mon.exe" (PID 1680) was successfully terminated.

YOUR SYSTEM FAILED THE TEST!

Security Software Testing Suite - Crash5

Copyright by Matousec - Transparent security

http://www.matousec.com/

Unable to open process PID 168 directly, trying duplication method ...

Unable to open process PID 168 using duplication method, trying handle stealing method ...

Unable to open process PID 392 directly, trying duplication method ...

Unable to open process PID 392 using duplication method, trying handle stealing method ...

Try to work with the target processes in next 60 seconds to crash them.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 168) was successfully terminated.

Process "op_mon.exe" (PID 392) still exists.

YOUR SYSTEM FAILED THE TEST!

Security Software Testing Suite - kill8

Copyright by Matousec - Transparent security

http://www.matousec.com/

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) still exists.

Process "op_mon.exe" (PID 876) still exists.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 312) was successfully terminated.

Process "op_mon.exe" (PID 876) was successfully terminated.

YOUR SYSTEM FAILED THE TEST!

Security Software Testing Suite - Kill11

Copyright by Matousec - Transparent security

http://www.matousec.com/

Hooks installed, try to work with the target processes in next 20 seconds to terminate them.

Checking termination results:

Waiting for termination of the process(es) ...

Process "acs.exe" (PID 568) still exists.

Process "op_mon.exe" (PID 820) was successfully terminated.

YOUR SYSTEM FAILED THE TEST!

Повторюсь, может быть я что-то делаю не так...но килы с настроенным на OSS конфигурационным файлом во вложении.

OSSKILL.rar

post-1330-1226592779_thumb.png

OSSKILL.rar

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Может быть стоит anti-malware создать свои тесты 'Firewall Challenge' но с настоящими зловредами (спам-боты, черви какие-нибудь), а? Естественно антивирусы отключаем, чтобы шансы были равны. Во-первых, будет мировая премьера. Во-вторых, думаю, что результаты будут намного интереснее, и Матушека со своими симуляторами отправим в Службу Занятости; уже давно пора...

Идея хорошая, но кто и по каким критериям будет отбирать зловредов? Вот с этим неплохо бы определиться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Обсуждение методологии будущего теста фаерволов от Anti-Malware.ru вынесено в отдельную тему

http://www.anti-malware.ru/forum/index.php?showtopic=5894

Будте внимательны! ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий, вполне возможно, что я что-то делаю не так, тогда Вы вопрос изучите и меня поправите. Но вот у меня XP SP2 как у Матюшека, и последняя, обновленная версия OSS, которая на данный момент в режиме обучения.

Олег, разумеется, мне лично остается только поблагодарить Вас (хотя мы вроде на "ты" :)) за итоги тестов нашего решения. Конфиг передам тестерам и специалисту с аналогичным Вашему профилем, пусть посмотрят. Для KIS 2009 не хотите ли выложить подобные же тесты?

Отредактировал Виталий Я.
поправил тег цитаты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Гость
Эта тема закрыта для публикации ответов.

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×