Burbulator

Почему тесты Comodo дают разные результаты у разных пользователей?

В этой теме 15 сообщений

Добрый день,

Хотелось бы разобраться в следующей проблеме:

итак, вчера на официальном форуме касперского развернулось небольшое обсуждение/сравнение KIS и NIS http://forum.kaspersky.com/index.php?showtopic=131857 . Постепенно участники перешли к тестам сравнению данных продуктов (KIS 2010 vs NIS 2009) с использованием Comodo Leak Test. В одном месте меня смутило, что у разных участников в отношении NIS 2009 показывались несколько разные результаты (тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088096 и тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088078 ). Поэтому сегодня была предпринята попытка повторить самому данные эксперименты. В vmware была установлена XP SP3 со всеми обновлениями, доступными на момент теста. Далее, система проверялась с KIS2010 и NIS2009, обе программы обновлялись до последних баз, патчей. Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

А теперь я хочу понять:

1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке, поэтому результаты у разных экспериментаторов разные? (но почему тогда их используют для сравнения продуктов?)

2. Я делаю что-то не так? (но почему и у других разнятся результаты?)

3. "Верить никому нельзя"? :)

Чувствую подвох, а где он – понять не могу :)

comodo_kis.JPG

comodo_nis.JPG

post-4068-1252668349_thumb.jpg

post-4068-1252668360_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

спасибо, ознакомлюсь

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Да и на форуме касперского тестировали 2009, а мне хотелось повторить результаты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке

Тесты Комодо, конечно, по большому счету - ерунда, но никакой "генерации результатов в случайном порядке" там нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Norton Internet Security 2010 30-Day Trialware

Norton AntiVirus 2010 30-Day Trialware

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

Можно я отвечу? :)

Дело в том, что на форуме ЛК я приводил скрины тестов функционала продукта с МАКСИМАЛЬНЫМИ НАСТРОЙКАМИ. То есть, настраивал продукт KIS на интерактивный режим, с настройками под себя, затем настроил NIS таким же образом, с максимальными настройками и с вроде как ручным режимом принятия решения. И в результате NIS набрал 110 баллов вместо 40, провалив критичные тесты с драйверами, а KIS 320 баллов вместо 30, не провалив критичные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ummitium, я прошу прощения, если эта просьба некорректна, но можно взглянуть на эти настройки КИС в виде cfg- файла? Можно в личку :) .

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Файл конфигурации я вам дать не могу, потому что вместе с ним прийдут настройки правил для моих программ...

Вот ссылка на скрин настройки прав Слабых ограничений в настройке Контроля программ (Главное окно КИС - Контроль программ - Настройка правил, выделите Слабые ограничения и нажмите "Изменить"), выставьте там везде запрос действия. Также включите Интерактивный (ручной) режим принятия решения (Главное окно КИС - Защита, далее снимите галочку с Выбирать действие автоматически), потому что в автоматическом режиме все запросы действия автоматически разрешаются.

И запускайте тесты и тесте :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Небольшое уточнение, "выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463 (B) проваливает два теста c итогом 320 из 340 (там просто нет тех опций). А автоматическом режиме результат 190 из 340. Без антивируса вообще, результат тоже 190 в Microsoft Windows Vista Home Premium Edition, 64-bit Service Pack 2 (build 6002). :D

А то что "тестыфигня" у тех кто их проваливает это уже аксиома. =) И даже уточнить с технической стороны это заявление не у кого, опять маркетологи насуют полный род рекламных pdf-ок. =D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
"выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463

как вы думаете, какие решения будут принимать обычные пользователи при получении сообщения: Программа IEXPLORER.EXE без цифровой подписи пытается получить доступ к хранилищу паролей и 4 варианта действия: Разрешить, запретить, добавить в доверенные, запретить навсегда ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Да мне глубоко безразлично на них, я берегу только свой зад и KIS мне его прикрывает. Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Просто знаете, когда говорят что ГУИ сделали для "простых пользователей", а на самом деле "простые пользователи" чрезвычайно редко с ним работают, то это уже бред.:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересный тест. Я пользуюсь старым файрволлом Comodo еще 2008 года выпуска. Решил его протестировать.

В общем, результаты следующие:

1) Firewall Security - custom policy, Defence -отключен - 80 из 340 . Что не удивительно, большинство уязвимостей включают установку драйверов.

2)Firewall Security - custom policy, Defence - пробовал 2 режима Safe Mode/Paranoid - 300 из 340.

Достаточно неплохо. Но гложет немного, что тесты писались самим Comodo=) Но у matousec комодо также неплохо выглядит, поэтому считаю тест достаточно честным =)

з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Ей-богу, у "других вендоров" одна забота - как "раскусить" тесты Comodo, в которых минимум 2 до сих пор являются тестами, реагирующими на возврат предопределенного значения параметра, которое отдает этот продукт? Знайте - все, кто на них обратил внимание, уже проходят с неплохим результатом. Хоть и не со 100%-ным.

А от Eset ждать тестов фаервола... :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Обновляю: https://mega.nz/#!0FYBnRzT!Kh8GaRMVOzm99QJZX0NsDD51vDaFzPI-Vil02kw53rQ
    • Sergey22101979s
      Площадку надо свою делать и развивать её. А потом продавать места на ней. И не важно какую площадку - сайт, группу в соцсети, или что-то тому подобное.
    • homeobed
      На дому за копейки работать - дело нехитрое) Вот чтобы зарабатывать приличные деньги, на одних комментариях далеко не уедешь)
    • Mike
      Вышел McAfee VirusScan Enterprise 8.8.0 Patch 10  
    • Wenderoy
      Да, лучше удалить. Но это, разумеется, решает администрация... Я никакой не тролль, ANDYBOND прекрасно это понимает, просто именно с ним был разлад безо всякой причины, подробности приводить не буду, но теперь он старается как можно больше "навредить" мне. Собственно, вот отзывы про PS - https://www.mywot.com/ru/scorecard/provisionsecurity.ru Думаю, комментарии будут излишними. Есть очень много свидетелей, которых "примерная" администрация Provisionsecurity даже "поливала" нецензурной лексикой, у меня есть все скриншоты и т. д. И после всего этого надо подумать, а стоит ли верить таким людям? Это я в качестве отступления. Главное - то, что я устал здесь распинаться, тратя свое личное время, что идет только на руку уже упомянутым участниками форума. Все, что мне надо было доказать, я доказал, пользователи моего приложения знают и понимают мои цели и стремления, я ни от кого ничего не скрываю. Поэтому программу уже используют многие, а это значит, что дело поставлено на рельсы. Самое смешное, что на каждый мой аргумент, который я не поленился снабдить всей необходимой информацией в форме ссылок, скриншотов, записей, копий писем, сообщений лабораторий etc, в ответ мне летят одни и те же фразы: "мошенник", "вирусописатель", "тролль". Так кто же больше попадает под значение последнего слова? Просто упомяну еще пару вещей. Когда я объяснял, почему продукт детектит пустой файл, все равно меня никто не слышал. Каким же, интересно, образом мне следует растолковать это? Были приведены доказательства, что я часть баз собираю с ресурса VirusShare (благо, имеются очень хорошие источники самой разнообразной информации), где AVP в свое время почему-то пометил файл как Trojan... (где-то на предыдущих страницах все чрезвычайно подробно описано). Так вот, копируя MD5, в комплект попала и хеш-сумма пустого файла, вследствие чего как бы Вы его ни переименовывали, все рано будет сработка продукта (кстати, ее уже нет). Далее. Насчет "мошенник" и "вирусописатель". Если зимние переписки (не просто отчетов автоматического анализа лабораторий) с вирусным аналитиком McAfee ни о чем Вам не говорят, это, как говорится, не мои проблемы. Другие вендоры, да практически все (даже популярные Avast, Qihoo и др.) устанавливаются втихомолку вместе с другим ПО (DRP Solutions, различные дополнения для монетизации в пакеты дистрибутивов), но их Вы почему-то "вирусописателями"  не называете. И последнее. Насчет "мошенник". Я никого не принуждаю устанавливать KAR, каждый делает это добровольно. Лицензионное соглашение и Privacy Statment присутствуют на сайте, там все четко и ясно описано. На сервер высылаются исключительно анонимные отчеты, как и в любых других разработках аналогичного типа, не более того.  Kuranin Anti-Ransomware распространяется абсолютно бесплатно, никакой рекламы ни в продукте, ни даже на сайте, т. к. это мое хобби. Поэтому здесь не вижу ничего, связанного с мошенничеством. Это очень краткое обобщение, все мои подробные ночные отписки на однотипные бессмысленные сообщения можно посмотреть, листая предыдущие ни много ни мало двенадцать страниц. @VMS, радует, что еще есть адекватные люди, которые умеют слушать. Да, к сожалению, это не те времена, когда жизнь кипела в каждом уголке Anti-Malware и других подобных форумов. Обидно, что перевились разработчики-добровольцы, которые были очень активны в 2004-2014 годах. Сейчас в основном крупные компании все вытеснили, да есть те, кто просто сдался (Александр Калинин, его судьба мне не известна, но смею предположить, что он воплотил свое хобби в жизнь; Kerish, который, правда, стал чрезвычайно полезной утилитой Kerish Doctor, а ведь совсем немногие знают прошлое этого творения; ScreamAV, бесплатныq антивирус то ли из Индонезии, то ли с Филиппин; путем долгого анализа удалось выяснить, что создатели данного антивируса примкнули к проекту SmadAV;  SMK антивирус, когда-то известный в узких кругах; "Зоркий глаз" Петелина Александра;  AWS Core, приостановивший свое развитие и т. п.) Вообще обожаю древние сайты, особенно варианты на narod.ru и им подобные, пропахшие стариной и историей. Очень приятные ощущения, как будто бы открыл давно забытую, но вновь найденную на чердаке книгу с пожелтевшими от времени листами.  А еще очень много полезных ресурсов, которых уже нет, но они сохранились в "архиве". Все это "богатство" сложно отыскать, но зато там есть чрезвычайно много полезной информации... Вот, кстати, один из примеров: https://web.archive.org/web/20040905203536/http://www.winchanger.narod.ru:80/ Или https://web.archive.org/web/20070624081145/http://winchanger.whatis.ru:80/ Как бонус прилагаю собственную коллекцию малоизвестных продуктов любителей информационной безопасности, среди них, кстати, все вышеупомянутые образцы! https://mega.nz/#!tZBkkCKa!0WzfYt4A1zK4aCvVLtu3FLt7pfPIp7wWtyPIr9c-cbo Может, кому пригодится...