Перейти к содержанию
Burbulator

Почему тесты Comodo дают разные результаты у разных пользователей?

Recommended Posts

Burbulator

Добрый день,

Хотелось бы разобраться в следующей проблеме:

итак, вчера на официальном форуме касперского развернулось небольшое обсуждение/сравнение KIS и NIS http://forum.kaspersky.com/index.php?showtopic=131857 . Постепенно участники перешли к тестам сравнению данных продуктов (KIS 2010 vs NIS 2009) с использованием Comodo Leak Test. В одном месте меня смутило, что у разных участников в отношении NIS 2009 показывались несколько разные результаты (тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088096 и тут http://forum.kaspersky.com/index.php?s=&am...t&p=1088078 ). Поэтому сегодня была предпринята попытка повторить самому данные эксперименты. В vmware была установлена XP SP3 со всеми обновлениями, доступными на момент теста. Далее, система проверялась с KIS2010 и NIS2009, обе программы обновлялись до последних баз, патчей. Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

А теперь я хочу понять:

1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке, поэтому результаты у разных экспериментаторов разные? (но почему тогда их используют для сравнения продуктов?)

2. Я делаю что-то не так? (но почему и у других разнятся результаты?)

3. "Верить никому нельзя"? :)

Чувствую подвох, а где он – понять не могу :)

comodo_kis.JPG

comodo_nis.JPG

post-4068-1252668349_thumb.jpg

post-4068-1252668360_thumb.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov

Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
Burbulator, подобная тема уже обсуждалась:

http://www.anti-malware.ru/forum/index.php...c=8659&st=0

спасибо, ознакомлюсь

P.S. А почему Вы не использовали новую версию продуктов Norton - Norton 2010 ?

быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Да и на форуме касперского тестировали 2009, а мне хотелось повторить результаты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Skeptic
1. тесты комодо полная ерунда ,их значения генерируются в случайном порядке

Тесты Комодо, конечно, по большому счету - ерунда, но никакой "генерации результатов в случайном порядке" там нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Vadim Fedorov
быстрее было скачать триал 2009. Возможно я не разобрался на сайте symanteca, но для триала 2010 просили заполнить форму с данными кредитки http://www.symantec.com/norton/theme.jsp?t...nloads_nistrial , а мне не хотелось возиться с этим.

Norton Internet Security 2010 30-Day Trialware

Norton AntiVirus 2010 30-Day Trialware

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ummitium
Оба продукта тестировались с настройками по умолчанию. KIS2010 набрал 30 баллов из 340. Ни о 320, ни о 110 речь не идет. NIS2009 набрал 40 из 330.

Можно я отвечу? :)

Дело в том, что на форуме ЛК я приводил скрины тестов функционала продукта с МАКСИМАЛЬНЫМИ НАСТРОЙКАМИ. То есть, настраивал продукт KIS на интерактивный режим, с настройками под себя, затем настроил NIS таким же образом, с максимальными настройками и с вроде как ручным режимом принятия решения. И в результате NIS набрал 110 баллов вместо 40, провалив критичные тесты с драйверами, а KIS 320 баллов вместо 30, не провалив критичные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Motley

Ummitium, я прошу прощения, если эта просьба некорректна, но можно взглянуть на эти настройки КИС в виде cfg- файла? Можно в личку :) .

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ummitium

Файл конфигурации я вам дать не могу, потому что вместе с ним прийдут настройки правил для моих программ...

Вот ссылка на скрин настройки прав Слабых ограничений в настройке Контроля программ (Главное окно КИС - Контроль программ - Настройка правил, выделите Слабые ограничения и нажмите "Изменить"), выставьте там везде запрос действия. Также включите Интерактивный (ручной) режим принятия решения (Главное окно КИС - Защита, далее снимите галочку с Выбирать действие автоматически), потому что в автоматическом режиме все запросы действия автоматически разрешаются.

И запускайте тесты и тесте :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_start:

Небольшое уточнение, "выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463 (B) проваливает два теста c итогом 320 из 340 (там просто нет тех опций). А автоматическом режиме результат 190 из 340. Без антивируса вообще, результат тоже 190 в Microsoft Windows Vista Home Premium Edition, 64-bit Service Pack 2 (build 6002). :D

А то что "тестыфигня" у тех кто их проваливает это уже аксиома. =) И даже уточнить с технической стороны это заявление не у кого, опять маркетологи насуют полный род рекламных pdf-ок. =D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Burbulator
"выставьте там везде запрос действия" совсем не обязательно, вернее без каких-либо изменений в настройках KIS 9.0.0.463

как вы думаете, какие решения будут принимать обычные пользователи при получении сообщения: Программа IEXPLORER.EXE без цифровой подписи пытается получить доступ к хранилищу паролей и 4 варианта действия: Разрешить, запретить, добавить в доверенные, запретить навсегда ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_start:

Да мне глубоко безразлично на них, я берегу только свой зад и KIS мне его прикрывает. Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Однако порой меня искренне удивляет постоянная забота о "простых пользователях", ведь на самом деле вам глубоко наплевать. Лицемерие =)

Просто знаете, когда говорят что ГУИ сделали для "простых пользователей", а на самом деле "простые пользователи" чрезвычайно редко с ним работают, то это уже бред.:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
trox

Интересный тест. Я пользуюсь старым файрволлом Comodo еще 2008 года выпуска. Решил его протестировать.

В общем, результаты следующие:

1) Firewall Security - custom policy, Defence -отключен - 80 из 340 . Что не удивительно, большинство уязвимостей включают установку драйверов.

2)Firewall Security - custom policy, Defence - пробовал 2 режима Safe Mode/Paranoid - 300 из 340.

Достаточно неплохо. Но гложет немного, что тесты писались самим Comodo=) Но у matousec комодо также неплохо выглядит, поэтому считаю тест достаточно честным =)

з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vovan7777
з.ы. http://www.wilderssecurity.com/showthread.php?t=225340

Здесь народ тестировал тоже и есть результаты 340 из 340.

у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
у меня било 330 из 330-не знаю где еще 10 делось...

на 3й версии.

пускай другие вендоры-касперский,symantec,eset,outpost итд дадут "свои" тесты на файерволы и будем посмотреть и сравнить.

а то только бочку катят на тесты комодо,а сами не дают альтернативные свои тесты на пробу и сравнение..

у матусека комод -опять номер1!

Ей-богу, у "других вендоров" одна забота - как "раскусить" тесты Comodo, в которых минимум 2 до сих пор являются тестами, реагирующими на возврат предопределенного значения параметра, которое отдает этот продукт? Знайте - все, кто на них обратил внимание, уже проходят с неплохим результатом. Хоть и не со 100%-ным.

А от Eset ждать тестов фаервола... :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Quincy
      Серёга Лысый известный балабол же
    • Александр Полиграф
      Проведение расследований с применением полиграфа. Выявление сотрудников "сливающих" информацию, осуществляющих попытки- получения данных, шпионаж, работа на конкурентов, сбор компромата и т.п. Осуществляем выезд к вам в офис. Гарантия конфиденциальности.  poligraf.msk.ru ПОЛИГРАФ МСК.pdf
    • PR55.RP55
      vesorv 1) С отключенным интернетом вы не сможете активировать лицензию на антивирус. а раз не сможете - то и не получите защиту. Значит активируем антивирус > Создаём образ системы и переносим его на внешний носитель. Получаем возможность проводить тестирование повторно. 2) Вам для тестирования не нужны "свежие" угрозы. Разработчик регулярно обновляет установочный пакет. Скажем за 2018 год вышла - 12 версия антивируса, затем вышла версия. 12.01> 12.02 > 12.03  и т.д. Интервал между версиями пару месяцев. За пару месяцев ничего принципиального и прорывного в защите не сделать. Установив вместо версии: 12.03  "устаревшую" версию 12.02 вы получите и устаревшую базу сигнатур вирусов. И здесь можно тестировать угрозы о которых антивирус не осведомлён. 3) Антивирус нужен для постоянной защиты. Установка не производиться на заражённую машину. так, как установочный пакет не предназначен для очистки системы. ( Да, в рекламных целях разработчик может написать, что есть такая возможность... Однако ) Вирус может повредить реестр, заблокировать работу Windows Installer, модифицировать критически важные системные файлы - система просто не будет работать должным образом. _Эффективная очистка возможна только на НЕ активной системе - при работе с Live CD или при загрузке с другой не заражённой системой. 4) Отключать нужно не только интернет  - но  и беспроводные блютус и Wi-Fi иначе вы рискуете получить заражение всех доступных устройств. 5) Многие вредоносные программы вы просто не сможете запустить. так, как могут быть ограничения на регион распространения  - тот кто заказывал разработку\модификацию например рассчитывает на атаку конкретной страны, банка. 6) По очистке и лечению. Это не одно и тоже. Есть антивирусы которые удаляют файлы\угрозы но при этом не очищают реестр от лишних записей. Удаление файла\угрозы без удаления записей может приводить к ошибкам в работе системы. Лечение файлов - здесь речь идёт прежде всего о файловых вирусах. Антивирус должен найти заражённый файл, найти нужный участок и очистить - причём очистить так, чтобы сохранилась работоспособность системы. Но очистка исполняемых файлов не имеет смысла - всё равно _современная система не сможет нормально работать так, как у файла не будет ЭЦП... а если критически важный  файл не пройдёт проверку на наличие ЭЦП то и система не запуститься... Единственно, что можно сделать - это заменить файл на оригинальный. А учитывая число файлов, разнообразие их версий  - это становиться нетривиальной задачей. Некоторые антивирусы\сканеры имеют архив с такими файлами ( для замены: EXPLORER.EXE; NTDETECT.COM; NTSD.EXE и т.д ) А большинство антивирусов таких архивов не имеет. 7) Вы не учитываете уровень ложных срабатываний\определений. Антивирус  может сработать на чистый файл. Значит нужно проверять систему ещё до работы с реальными угрозами. 8) Угроза, или нет ? Это философский вопрос. Здесь каждый разработчик решает сам - что является угрозой, а что нет. т.е. на файл ХХХ одни антивирус сработает - а другой антивирус на файл ХХХ не сработает. + Программы разработанные спец. службами например страна ****а разработала вирус с целью нарушения работы оборудования, в целях шпионажа, получения удалённого доступа. Разве разработчики антивирусов находящиеся под её юрисдикцией будут искать эту угрозу ? 9) Легальные шпионские программы - одни антивирусы их будут находить, а другие антивирусы их находить не будут. Под легальными нужно понимать такие компоненты системы которые устанавливает разработчик оборудования - мониторинг - обнаружение украденного оборудования - диагностические отчёты. т.е. антивирусы по умолчанию находятся вне равных условий. 10) У всех разное железо - и производитель распространяет установщики  с некими средними настройками - чтобы на старых\слабых PC не наблюдалось зависание. С разными настройками эвристики будет  разная  скорость\эффективность работы. Значит нужно, или тестировать всё по умолчанию, или накручивать параметры на максимум. Нужно будет оценивать стабильность работы системы после внесения изменений в работу антивируса. 11) Куда ушли ?  Да куда угодно. Потеряли интерес, стало больше информации и меньше времени на её обсуждение. Помните песню: " Куда уехал цирк ? он был ещё вчера " https://www.comss.ru/page.php?id=5777 Дело в том, что всё уже давно обсудили, и вся информация есть в сети. а все эти _публичные тестирования ( как бы это помягче сказать... ) Средняя температура по больнице в норме !    
    • vesorv
      1. На жесткий диск загружаются дистрибутивы антивирусов и "свежие" вредоносные программы (только те, которые не обнаруживает сканер антивируса, то есть кнопочка эта в антивирусе называется "выборочная проверка файлов"), работающие без интернета. 2. На операционной системе запускают вредоносные программы (антивирус не установлен) и убеждаются в том, что они работают. 3. На чистую операционную систему из дистрибутива устанавливают антивирус, отключают интернет, и запускают вредоносные программы. Записывают все действия антивируса - сколько угроз обнаружил, когда обнаружил, какой компонент обнаружил, проводил ли антивирус лечение, что изменилось в системе после лечения. Потом ставят другой антивирус на чистую систему и проводят те же операции.  Данный тест покажет способность антивирусов защищать от угроз и лечить систему без использования облака. Насколько данный тест отображает реальные возможности (то есть с применением облака) защиты антивирусов от новейших угроз и лечения системы от действий вредоносных программ ? Раньше на форуме было относительно много людей, которые обсуждали интерестные темы (в том числе эксперты). Куда ушли эти люди, где они сейчас общаются, на каких интернет-площадках ?
    • Deniis
×