Перейти к содержанию
Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

Recommended Posts

Сергей Ильин

Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Весьма странное утверждение, т.к. чем больше коллекция, тем больше реальных человекочасов нужно на проверку. И хоть вероятность и не увеличивается, но это же прогноз, а не статистика - в реальности разброс кол-ва битых самплов может быть и выше при увеличении числа сэмплов в коллекции. Без претензий.

А доказать, не сводится ли внешняя "перепроверка" результатов к добавлению вендорами малораспространенных битых файлов как malware или suspicious со скоростью работы "автодятла", не очень легко. Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним

F-Prot в автодятлизме замечен вроде не был? А детект самплов, которых не нашел в тесте добавил. Аналогично Микрософт и Norman.

Да и к тому же упирание рогом не поможет особо, в каждом новом тесте - новые самплов. Так что по большому счету пофигу отработал ты по старой коллекции или нет.

Так что стандартная отмазка занимающих нижние позиции в подобных тестах мне очень не нравится - она конечно помогает отмазаться тем же Доктору и Агнитуму, когда их тестами к стенке прижимают - но вот насколько она соответсвует реальности...я очень сильно не уверен.

Так что как отмазка для клиентов и партнеров - это да, это работатет. А вот насколько высказанные вами предположения влияют на положение дел - вот это большой вопрос, по крайней мере для меня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Alushaa
      Весьма хорошее приложение чтобы проверить авто по номеру и прочему. Удобно и совершенно бесплатно, так что если вам интересно, то стоит с ним все же ознакомиться и вам самим.
    • Alushaa
      Здесь рекомендую почитать про свойства гуараны. Весьма любопытная статья, которая лично мне во всех смыслах понравилась, так что почитать её рекомендую и вам самим, думаю не разочаруетесь совсем.
    • Ego Dekker
      Антивирусы были обновлены до версии 12.2.29.
    • Quinci
      Уже давно уехал из Перми на ПМЖ в Москву, иногда только к родне возвращаюсь повидаться. В этом году, увы, не получилось и не получится из-за напряженного графика работы. Вскоре у моей школьной учительницы, классного руководителя, которая дала нам многое, будет юбилей - 60 лет. Оставшиеся в Перми одноклассники планируют чего-то даже ей презентовать, но у меня не получается с ними как-то её лично поздравить. Вот думаю заказать цветы через http://perm.lotos-fl.ru и коробку конфет. Есть ли кто пользовался их услугами? Свежие ли цветы? Вовремя ли доставку организовывают? Поделитесь отзывами пожалуйста. 
    • Alushaa
      Последние новости про бизнес тут спокойно читаю https://promdevelop.ru/news/prognoz-na-rost-tseny-nefti-100-dollarov-za-barrel-prichiny-podorozhaniya/  Мне все у них понравилось и в целом там много дельной информации, которая может быть вам как раз полезна
×