Перейти к содержанию
Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

Recommended Posts

Сергей Ильин

Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Весьма странное утверждение, т.к. чем больше коллекция, тем больше реальных человекочасов нужно на проверку. И хоть вероятность и не увеличивается, но это же прогноз, а не статистика - в реальности разброс кол-ва битых самплов может быть и выше при увеличении числа сэмплов в коллекции. Без претензий.

А доказать, не сводится ли внешняя "перепроверка" результатов к добавлению вендорами малораспространенных битых файлов как malware или suspicious со скоростью работы "автодятла", не очень легко. Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним

F-Prot в автодятлизме замечен вроде не был? А детект самплов, которых не нашел в тесте добавил. Аналогично Микрософт и Norman.

Да и к тому же упирание рогом не поможет особо, в каждом новом тесте - новые самплов. Так что по большому счету пофигу отработал ты по старой коллекции или нет.

Так что стандартная отмазка занимающих нижние позиции в подобных тестах мне очень не нравится - она конечно помогает отмазаться тем же Доктору и Агнитуму, когда их тестами к стенке прижимают - но вот насколько она соответсвует реальности...я очень сильно не уверен.

Так что как отмазка для клиентов и партнеров - это да, это работатет. А вот насколько высказанные вами предположения влияют на положение дел - вот это большой вопрос, по крайней мере для меня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Lavrans
      Могу еще Мелбет букмекера порекомендовать 
      Я на него полный обзор на https://ratingbet.com/bookmaker/myelbyet-obzor-bukmyekyerskoy-kontory-melbet.html имею 
      Действительно,  честная компания,  которая всегда идет на встречу своим клиентам. В любых  непонятных  ситуациях сразу же обращаюсь в службу поддержки,  они оперативно реагируют на заявки
    • MarijyaFrolova
      Играешь за тётку ангела или типо того, по мере прохождения получаешь/апгрейдишь крылья. Дерешься мечем, можно летать вроде. Присутствуют элементы головоломок, типо в принце Персии, но это не точно. Геймплей не особо длинный часов может на 6-10. По месту действия вспоминаются перемещения по парящим островкам не большим.Может, кто знает название игры?
    • Mawa27
      Здравствуйте)Я довольно часто заказываю букеты, так как живу далеко от своих родственников и единственным вариантом их поздравить остается букет на заказ. Чаще всего пользуюсь фирмой https://kvitochka.kiev.ua/ .У них очень оригинальные и красивые букеты, особенно люблю те, что в коробках. Смотрятся очень стильно и при этом красиво.Так что рекомендую вам)
    • Sawa26
      Где заказать шикарный букет цветов?
    • Mawa27
      Компания ProHoster запускает линейку дешевых выделенных серверов LC Intel  от 26,7$. Рекордно низкая стоимость обеспечит Вам максимальный доход. Размещение - Украина. Процессоры Intel и Intel Core. Есть возможность установить ОС Windows server 2008 R2 и Windows server 2012 R2. Доступ к серверу через DCI панель.     Конфигурации серверов:   Тариф LC Intel G1610 по цене $26.7/месяц + Установочная цена 12$ 4Gb ОЗУ 500GB Intel G1610 CPU or similar 1 IPv4    Тариф LC Intel Core i5 по цене $34.7/месяц + Установочная цена 12$ 8Gb ОЗУ 2x500GB Intel i5 CPU or similar 1 IPv4   Тариф LC Intel Core i7 по цене $40/месяц + Установочная цена 12$ 16Gb ОЗУ 2x500GB Intel i7 CPU or similar 1 IPv4   Подробнее о тарифах, а также информацию о других услугах можете найти на нашем сайте
×