Перейти к содержанию
Burbulator

Почему тесты Comodo дают разные результаты у разных пользователей?

Recommended Posts

Burbulator

Добрый день,

Хотелось бы разобраться в следующей проблеме:

итак, вчера на официальном форуме касперского развернулось небольшое обсуждение/сравнение KIS и NIS http://forum.kaspersky.com/index.php?showtopic=131857 . Постепенно участники перешли к тестам сравнению данных продуктов (KIS 2010 vs NIS 2009) с использованием Comodo Leak Test. В одном месте меня смутило, что у разных участников в отношении NIS 2009 показывались несколько разные результаты (тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088096 и тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088078 ). Поэтому сегодня была предпринята попытка повторить самому данные эксперименты. В vmware была установлена XP SP3 со всеми обновлениями, доступными на момент теста. Далее, система проверялась с KIS2010 и NIS2009, обе программы обновлялись до последних баз, патчей. Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

А теперь я хочу понять:

1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке, поэтому результаты у разных экспериментаторов разные? (но почему тогда их используют для сравнения продуктов?)

2. Я делаю что-то не так? (но почему и у других разнятся результаты?)

3. "Верить никому нельзя"? :)

Чувствую подвох, а где он – понять не могу :)

comodo_kis.JPG

comodo_nis.JPG

post-4068-1252668349_thumb.jpg

post-4068-1252668360_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov

Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

спасибо, ознакомлюсь

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Да и на форуме касперского тестировали 2009, а мне хотелось повторить результаты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке

Тесты Комодо, конечно, по большому счету - ерунда, но никакой "генерации результатов в случайном порядке" там нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov
быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Norton Internet Security 2010 30-Day Trialware

Norton AntiVirus 2010 30-Day Trialware

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ummitium
Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

Можно я отвечу? :)

Дело в том, что на форуме ЛК я приводил скрины тестов функционала продукта с МАКСИМАЛЬНЫМИ НАСТРОЙКАМИ. То есть, настраивал продукт KIS на интерактивный режим, с настройками под себя, затем настроил NIS таким же образом, с максимальными настройками и с вроде как ручным режимом принятия решения. И в результате NIS набрал 110 баллов вместо 40, провалив критичные тесты с драйверами, а KIS 320 баллов вместо 30, не провалив критичные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Motley

Ummitium, я прошу прощения, если эта просьба некорректна, но можно взглянуть на эти настройки КИС в виде cfg- файла? Можно в личку :) .

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ummitium

Файл конфигурации я вам дать не могу, потому что вместе с ним прийдут настройки правил для моих программ...

Вот ссылка на скрин настройки прав Слабых ограничений в настройке Контроля программ (Главное окно КИС - Контроль программ - Настройка правил, выделите Слабые ограничения и нажмите "Изменить"), выставьте там везде запрос действия. Также включите Интерактивный (ручной) режим принятия решения (Главное окно КИС - Защита, далее снимите галочку с Выбирать действие автоматически), потому что в автоматическом режиме все запросы действия автоматически разрешаются.

И запускайте тесты и тесте :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_start:

Небольшое уточнение, "выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463 (B) проваливает два теста c итогом 320 из 340 (там просто нет тех опций). А автоматическом режиме результат 190 из 340. Без антивируса вообще, результат тоже 190 в Microsoft Windows Vista Home Premium Edition, 64-bit Service Pack 2 (build 6002). :D

А то что "тестыфигня" у тех кто их проваливает это уже аксиома. =) И даже уточнить с технической стороны это заявление не у кого, опять маркетологи насуют полный род рекламных pdf-ок. =D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
"выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463

как вы думаете, какие решения будут принимать обычные пользователи при получении сообщения: Программа IEXPLORER.EXE без цифровой подписи пытается получить доступ к хранилищу паролей и 4 варианта действия: Разрешить, запретить, добавить в доверенные, запретить навсегда ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_start:

Да мне глубоко безразлично на них, я берегу только свой зад и KIS мне его прикрывает. Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Просто знаете, когда говорят что ГУИ сделали для "простых пользователей", а на самом деле "простые пользователи" чрезвычайно редко с ним работают, то это уже бред.:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
trox

Интересный тест. Я пользуюсь старым файрволлом Comodo еще 2008 года выпуска. Решил его протестировать.

В общем, результаты следующие:

1) Firewall Security - custom policy, Defence -отключен - 80 из 340 . Что не удивительно, большинство уязвимостей включают установку драйверов.

2)Firewall Security - custom policy, Defence - пробовал 2 режима Safe Mode/Paranoid - 300 из 340.

Достаточно неплохо. Но гложет немного, что тесты писались самим Comodo=) Но у matousec комодо также неплохо выглядит, поэтому считаю тест достаточно честным =)

з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vovan7777
з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Ей-богу, у "других вендоров" одна забота - как "раскусить" тесты Comodo, в которых минимум 2 до сих пор являются тестами, реагирующими на возврат предопределенного значения параметра, которое отдает этот продукт? Знайте - все, кто на них обратил внимание, уже проходят с неплохим результатом. Хоть и не со 100%-ным.

А от Eset ждать тестов фаервола... :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×