Перейти к содержанию
Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

Recommended Posts

Сергей Ильин

Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Весьма странное утверждение, т.к. чем больше коллекция, тем больше реальных человекочасов нужно на проверку. И хоть вероятность и не увеличивается, но это же прогноз, а не статистика - в реальности разброс кол-ва битых самплов может быть и выше при увеличении числа сэмплов в коллекции. Без претензий.

А доказать, не сводится ли внешняя "перепроверка" результатов к добавлению вендорами малораспространенных битых файлов как malware или suspicious со скоростью работы "автодятла", не очень легко. Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним

F-Prot в автодятлизме замечен вроде не был? А детект самплов, которых не нашел в тесте добавил. Аналогично Микрософт и Norman.

Да и к тому же упирание рогом не поможет особо, в каждом новом тесте - новые самплов. Так что по большому счету пофигу отработал ты по старой коллекции или нет.

Так что стандартная отмазка занимающих нижние позиции в подобных тестах мне очень не нравится - она конечно помогает отмазаться тем же Доктору и Агнитуму, когда их тестами к стенке прижимают - но вот насколько она соответсвует реальности...я очень сильно не уверен.

Так что как отмазка для клиентов и партнеров - это да, это работатет. А вот насколько высказанные вами предположения влияют на положение дел - вот это большой вопрос, по крайней мере для меня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×