.av-comparatives.org: QA of August 2007 test-set & corrections

[Сергей Ильин 1538]

Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

[Виталий Я. 859]

Интересный топик. Пересчитывать результаты как-то не принято вообще, поэтому этот шаг Клименти изначально выглядит несколько нестандартно. Не только признал наличие битых самплов, но и пересчитал результаты.

Что в итоге мы имеем? В итоге мы видим, что с точки зрения статистических показателей эффективности наличие некоторой примеси битых файлов (очевидно стандартной) не влияет на конечный результат. А самое главное любые отмазки какого-либо вендора, что типа "там полно битых самплов" изначально не состоятельны при больших размерах коллекции.

Чем больше коллекция, тем меньше влияние на результаты оказывает примесь битых файлов.

Весьма странное утверждение, т.к. чем больше коллекция, тем больше реальных человекочасов нужно на проверку. И хоть вероятность и не увеличивается, но это же прогноз, а не статистика - в реальности разброс кол-ва битых самплов может быть и выше при увеличении числа сэмплов в коллекции. Без претензий.

А доказать, не сводится ли внешняя "перепроверка" результатов к добавлению вендорами малораспространенных битых файлов как malware или suspicious со скоростью работы "автодятла", не очень легко. Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним.

[Иван 290]

Вывод: если не "автодятлить" и "упереться рогом", как Доктор Веб, будешь крайним

F-Prot в автодятлизме замечен вроде не был? А детект самплов, которых не нашел в тесте добавил. Аналогично Микрософт и Norman.

Да и к тому же упирание рогом не поможет особо, в каждом новом тесте - новые самплов. Так что по большому счету пофигу отработал ты по старой коллекции или нет.

Так что стандартная отмазка занимающих нижние позиции в подобных тестах мне очень не нравится - она конечно помогает отмазаться тем же Доктору и Агнитуму, когда их тестами к стенке прижимают - но вот насколько она соответсвует реальности...я очень сильно не уверен.

Так что как отмазка для клиентов и партнеров - это да, это работатет. А вот насколько высказанные вами предположения влияют на положение дел - вот это большой вопрос, по крайней мере для меня.