Перейти к содержанию
Иван

Тест av-comparatives.org на качество обнаружения (август 07)

Recommended Posts

K_Mikhail
Значит получается, что бета Dr.Web хуже релиза Dr. Web? Я правильно понял?

Mr. Justice, попробуйте поставить себе бету 4.44 и самому проверить её работоспособность. А потом поделитесь впечатлениями - она хуже или лучше релиза 4.33. Тем паче, что буквально недавно было обновление в бета-области. :)

Или на данный момент времени вам важнее обыграть Валерия в словесно-философской казуистике терминов и понятий, пытаясь поймать его на слове?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Mr. Justice, попробуйте поставить себе бету 4.44 и самому проверить её работоспособность. А потом поделитесь впечатлениями - она хуже или лучше релиза 4.33. Тем паче, что буквально недавно было обновление в бета-области. :)

На Linux она встанет? Да и что это даст. Смогу, я скажем, оценить уровень детекта? Если нужно проверить ее работоспособность и стабильность, то, и в этом нет никакой необходимости.

Или на данный момент времени вам важнее обыграть Валерия в словесно-философской казуистике терминов и понятий, пытаясь поймать его на слове?

Это был ответ на провокацию :). Больше ну буду.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

применение андреасом Клементи среди всего списка продуктов беты только снижает ценность теста. 1. Это некорректно в целом - см. мой пост выше; 2. Сравнение нерелизной версии, а тем более беты (в которой может быть сколько угодно глюков) с релизными - неэтично, какими бы благими намерениями это не оправдывалось; 3. Исходя из беты - то есть отработки версии - может быть, что текущая, примененная бета может быть хуже релизной из-за самого статуса беты версии.

Тепрь представим себе ситуацию, что вместо 4.44 выйдет 5.0. Вендор вправе сделать это, поскольку версия существовала в бете. И все знают, что такие примеры были, когда вендор отказывался продолжать бету до релиза. Ценность теста?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
применение андреасом Клементи среди всего списка продуктов беты только снижает ценность теста. 1. Это некорректно в целом - см. мой пост выше;

В данном случае общее правило неприменимо. См. выше.

3. Исходя из беты - то есть отработки версии - может быть, что текущая, примененная бета может быть хуже релизной из-за самого статуса беты версии.

Почему ее уже давно советуют на форуме Dr. Web? В том числе официальные лица.

Тепрь представим себе ситуацию, что вместо 4.44 выйдет 5.0. Вендор вправе сделать это, поскольку версия существовала в бете. И все знают, что такие примеры были, когда вендор отказывался продолжать бету до релиза. Ценность теста?

На форуме уже не раз говорилось что этого не произойдет. У мент оснований не доверять этому. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Значит получается, что бета Dr.Web хуже релиза Dr. Web? Я правильно понял?

Значит это именно то, что я написал.

На пути бета-тестирования продукта бета может быть и лучше, и хуже предыдущего релиза на разных этапах бета-тестирования. Клементи попал на неудачный период.

Какую, по Вашему мнению версию беты должны были использовать, чтобы результаты были "оптимальными"?

Любую, но не вставлять её в основную таблицу.

Скажите когда лучше использовать 4.33, а когда 4.44.

4.44 лучше использовать, если нужна Windows Vista, и от неё никак не избавиться. 4.44 лучше использовать при активном заражении. Хотя при активном заражении можно просканировать бетой CureIt!, не снося релизную версию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

Это вопрос политический и философский. Мы готовы участвовать в любых тестированиях, в т.ч. и непрофессиональных даже - это на пользу популяризации наших продуктов. Но. Результаты тестирования можно и покритиковать - одно с другим не связано. Полностью доверяем мы только тем результатам, которые сами можем повторить.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

Это вопрос политический и философский. Мы готовы участвовать в любых тестированиях, в т.ч. и непрофессиональных даже - это на пользу популяризации наших продуктов. Но. Результаты тестирования можно и покритиковать - одно с другим не связано. Полностью доверяем мы только тем результатам, которые сами можем повторить.

Мне представляется что эти результаты не способствуют росту популяности продукта.

И так хотелось бы еще раз получить четкие ответы на следующие вопросы:

1. Почему официальные лица предлагают использовать бета версию антивируса от Dr.Web вместо существующего релиза? Бета действительно лучше релиза? Или все зависит от версии релиза?

2. В чем заключается неудачность протестированной бета версии и каким образом было определно что эта версия действительно не удачная?

3. Почему Dr.Web постоянно участвует в тестировании продукта и постоянно при этом критикует методику и результаты...?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Мне представляется что эти результаты не способствуют росту популяности продукта.

Данного конкретного тестирования - да. Но были тестирования, где Dr.Web показывал себя лучше Касперского, у того же Клементи. (тестирование эвристики, насколько я помню).

1. Почему официальные лица предлагают использовать бета версию антивируса от Dr.Web вместо существующего релиза?

Потому что она работает под Windows Vista, потому что она лучше противодействует активному заражению. Таким образом, предлагают эти официальные лица не во всех случаях и с оговорками.

Бета действительно лучше релиза?

Текущие компоненты, которые находятся в бете - да.

2. В чем заключается неудачность протестированной бета версии и каким образом было определно что эта версия действительно не удачная?

Неудачность заключалась в падении на многих сэмплах или же неправильном сканировании. Проблема была в связке компонентов сканер+шилд. Определено, что версия была неудачная, просто. Клементи в таблице указал версии билдов компонентов. Как определить, что эти билды были с проблемами? Просто. Достаточно поизучать багтрекер.

3. Почему Dr.Web постоянно участвует в тестировании продукта и постоянно при этом критикует методику и результаты...?

1. Критикуем постоянно, но не всегда. Бывают и адекватные результаты.

2. Тестирование - это реклама. А если тестирование превращается в антирекламу из-за того, что было проведено некорректно, то тут в самую пору и повозмущаться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Данного конкретного тестирования - да. Но были тестирования, где Dr.Web показывал себя лучше Касперского, у того же Клементи. (тестирование эвристики, насколько я помню).

Это не довод. Dr. Web по большинству показателей

выглядит хуже других продуктов. В тесте на эвристик продукт показывает себя не с лучшей стороны по причине большого количества ложных срабатываний.

1. Почему официальные лица предлагают использовать бета версию антивируса от Dr.Web вместо существующего релиза?
Потому что она работает под Windows Vista, потому что она лучше противодействует активному заражению. Таким образом, предлагают эти официальные лица не во всех случаях и с оговорками.

В то то и дело что бету предлагают использовать на XP и зачастую без оговорок.

Текущие компоненты, которые находятся в бете - да.
.

Были ли версии которые уступают релизу в плане детекта? И нужно ли все-таки предлагать клиенту нестабильный продукт?

Неудачность заключалась в падении на многих сэмплах или же неправильном сканировании. Проблема была в связке компонентов сканер+шилд. Определено, что версия была неудачная, просто. Клементи в таблице указал версии билдов компонентов. Как определить, что эти билды были с проблемами? Просто. Достаточно поизучать багтрекер.

Все это говорит лишь о нестабильности данной версии, но не дает основания утверждать что с детектом есть проблемы. Или я не прав?

1. Критикуем постоянно, но не всегда. Бывают и адекватные результаты.

2. Тестирование - это реклама. А если тестирование превращается в антирекламу из-за того, что было проведено некорректно, то тут в самую пору и повозмущаться.

Я ответил на это выше. :)...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
В то то и дело что бету предлагают использовать на XP и зачастую без оговорок.

Значит, они не правы, кто предлагает без оговорок.

И нужно ли все-таки предлагать клиенту нестабильный продукт?

Иногда это единственный выход.

Все это говорит лишь о нестабильности данной версии, но не дает основания утверждать что с детектом есть проблемы. Или я не прав?

Это была комплексная проблема, и на детект она влияла тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
В то то и дело что бету предлагают использовать на XP и зачастую без оговорок.

Значит, они не правы, кто предлагает без оговорок.

И нужно ли все-таки предлагать клиенту нестабильный продукт?

Иногда это единственный выход.

Все это говорит лишь о нестабильности данной версии, но не дает основания утверждать что с детектом есть проблемы. Или я не прав?

Это была комплексная проблема, и на детект она влияла тоже.

Все ясно. Думаю что нужно дискуссию прекратить до лучших времен. Спасибо всем. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Артём

А меня удивляют результаты Нортона! Ведь по отзывам с конференций данной тематики дела с детектом в реальной жизни не такие красивые!?? :roll:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Все ясно. Думаю что нужно дискуссию прекратить до лучших времен.

Просто тема беты не должна быть основной в обсуждении тестирования, основная часть продуктов в котором были релизными. А возникла она только лишь благодаря некорректности выбора Клементи продуктов для тестирования.

А меня удивляют результаты Нортона!

А это уже к вопросу о репрезентативности подборки сэмплов для тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
А меня удивляют результаты Нортона! Ведь по отзывам с конференций данной тематики дела с детектом в реальной жизни не такие красивые!?? :roll:

Ничего удивительного Артем, коллекция клименти большая, но застарелая. Т.е. большая часть вирья в ней появилась уже давно. А Симантек славится тем, что хоть и добавляет в базу весьма неоперативно, но зато добавлять старается все по максимуму.

В итоге на коллекции клименти хороший результат.

А вы вот сравните с результатами на коллекции Маркса (AV-Test), у него в коллекции только вирье попадавшееся за последние полгода, в том числе и самый свежак. В итоге лучше те, кто реагирует быстрее, а Симантек сильно ниже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

хотел бы обратить внимание, что сейчас критикуется не методика, а выбор продукта. Это не одно и то же. Поскольку здесь даже не родукт, а его одна из бет. Полагаю, объяснять разницу между релизным продуктом и бетой снова здесь не надо?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
А это уже к вопросу о репрезентативности подборки сэмплов для тестирования.

Доктор Веб показывает себя одинаково и у Клименти и у Маркса. Т.е. результат одинаков на двух коллекциях, собираемых по разным методикам.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Доктор Веб показывает себя одинаково и у Клименти и у Маркса. Т.е. результат одинаков на двух коллекциях, собираемых по разным методикам.

Я отвечал на фразу о Нортоне. Не нужно переводить тему. Предлагаю пообсуждать и результаты других антивирусов у Клементи, ибо уже зациклились.

Если кратко, то с репрезентативностью выборки сэмплов для тестирования у всех проблемы - в большей или меньшей степени.

Задача отбора сэмплов - весьма сложный и неоднозначный процесс. И, конечно, субъективный.

Ничего удивительного Артем, коллекция клименти большая, но застарелая.

Как так? Клементи же утверждает, что берутся только сэмплы, появившиеся за последние полгода.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Доктор Веб показывает себя одинаково и у Клименти и у Маркса. Т.е. результат одинаков на двух коллекциях, собираемых по разным методикам.

но любовь к немецким продуктам одинаковая :D Видимо, поддержка национального производителя

Добавлено спустя 39 секунд:

или одинковое имя влияет? :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Так друзья, тогда ответьте мне на такой вопрос. Почему Dr.Web из раза в раз соглашается участвовать в тестах А. Клименти и после с завидным постоянстов критикует его методику?

хотел бы обратить внимание, что сейчас критикуется не методика, а выбор продукта. Это не одно и то же. Поскольку здесь даже не родукт, а его одна из бет. Полагаю, объяснять разницу между релизным продуктом и бетой снова здесь не надо?

я прочел вот это http://www.av-comparatives.org/seiten/erge...methodology.pdf

там черным по белому написано, что вендор согласившийся принять участие в тестировании даёт Клименти рабочую версию продукта и ключи к ней. Вы что единственные кто версию не послал?

А еще Клименти высылает превью своего теста до его официальной публикации, вы что не могли тогда свои претензии заявить?

Нет вы видать надеялись, что 4.44 покажет существенно лучший результат, а когда этого не случилось то конечно удобней стало низкий результат всем объяснить тем, что версию не ту взяли.

Кстати в полном отчете Клименти в конце описания продукта Доктора Веба на писаны буковки RC - релиз кандидат, врядли это Клименти сам придумал.

а насчет любви к немецким продуктам вы напрасно, в одном из них 2 движка и его высокий детект понятен, а Авира всем известно что во-первых сильно подняла сигнатурный детект, а во-вторых засчет своего фолсящего эвристика тоже дофига берет. Так что не надо на немецкие продукты наезжать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

начнем с того, что никто не наезжал - не стоит передергивать. Второе - есть официальный сайт - там четко и однозначно написано, что 4.44 в бете, а не RC.

http://www.drweb.com/?lng=ru

Или это я сам придумал? или привиделось?

Второе - что бы кому бы не выдавалось, всегда идет расчет на то, что беты с релизами вендоры не равняют. Применимость беты в этом тесте некорректна.

Третье - кто-то обсуждал место, занятое бетой продукта? Смотрим и видим - нет.

Обсуждалось только одно - некорректность теста беты в одном наборе с релизами, не более.

Четвертое - методика не обсуждалась. Смотрим внимательно!

Вывод - ? разъяснить? :lol:

Добавлено спустя 1 минуту 57 секунд:

А чем поможет превью теста, если применимость тестируемого продукта просто некорректна? Проще при личной встрече задать ему вопросик и посмотреть на реакцию

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

забавно.

сами же согласились на использование беты в тесте, сами теперь и спорят :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

как мне кажется, формат форума и предполагает некоторое обсуждение поста,вы же обсуждаете и даже оспариваете факт победы конкурента в тендере - и для вас это не забавно. Поэтому мнение оппонентов всегда имеет место быть и более- должно быть выслушано. Это помогает по жизни. Поэтому ничего забавного, как по мне - все корректно.

Добавлено спустя 20 минут 32 секунды:

Второе, что важно - разобраться, кто все же и где ошибся. Никто не свят в этом мире подлунном.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
начнем с того, что никто не наезжал - не стоит передергивать. Второе - есть официальный сайт - там четко и однозначно написано, что 4.44 в бете, а не RC.

http://www.drweb.com/?lng=ru

Или это я сам придумал? или привиделось?

Второе - что бы кому бы не выдавалось, всегда идет расчет на то, что беты с релизами вендоры не равняют. Применимость беты в этом тесте некорректна.

Заче тогда нужно было соглашаться на тестирование беты?

Третье - кто-то обсуждал место, занятое бетой продукта? Смотрим и видим - нет.

Обсуждалось только одно - некорректность теста беты в одном наборе с релизами, не более.

Четвертое - методика не обсуждалась. Смотрим внимательно!

Вывод - ? разъяснить? :lol:

Не надо ничего разъяснять. Все и так ясно. Сначала люди соглашаются на условия тестирования, а затем их критикуют.

Добавлено спустя 1 минуту 57 секунд:

А чем поможет превью теста, если применимость тестируемого продукта просто некорректна? Проще при личной встрече задать ему вопросик и посмотреть на реакцию

Мда....см. выше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

так ведь тут нет мнения оппонентов - это и забавно.

ситуация - drweb согласился на использование беты в тесте, сотрудники drweb с этим не согласны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×