Тест av-comparatives.org на качество обнаружения (август 07)

[Сергей Ильин 1538]

А в тесте Клементи я по прежнему считаю, что 4.33 могла показать лучшие результаты, чем 4.44 (с теми компонентами, которые тестировались).

Андреас так не считает, поэтому и не стал тестировать 4.33.

Вообще я лично думаю, что если Доктор Веб смотрит вперед, то не стоит ссылаться на версию, которая вот вот уйдет в прошлое.

Вы же не хотите, чтобы клиенты думали, что новая 4.44 стала хуже?

[Valery Ledovskoy 1082]

я в шоке, а я то вам почти поверил, что вы действительно не в курсе были что 4.44 будет тестироваться

Лично я был не в курсе. Я не отправляю дистрибутивы на тесты.

Если кто-то отправил только бету от нас (без релиза), тогда значит, мы ошиблись, посылая такую версию.

Но тестирование в этом плане было некорректным. Пусть и не по вине Клементи.

Результаты я не оспариваю.

Добавлено спустя 17 минут 24 секунды:

Вы же не хотите, чтобы клиенты думали, что новая 4.44 стала хуже?

Нет, я хочу, чтобы клиенты думали, что в бета-версии могут быть проблемы, некоторые из которых серьёзные. Некоторые из них настолько серьёзные, что это приводит к тому, что бета-версия в определённый момент процесса тестирования может показывать и более худшие результаты, чем релиз. Бета вообще может не запускаться, наконец

И ближе к релизу все эти проблемы могут решаться.

[Mr. Justice 771]

Получил письмо от Адреса Клименти по поводу обсуждения теста в этой ветке. Просил меня внести ясность в этот вопрос.

Он в негодовании по поводу притензий Доктора Веба по тестированию "сырой" 4.44 и говорит' date=' что это была их просьба. Далее по тексту: [/quote']

Может' date=' он не точно понял просьбу? [/quote']

Неужели Вы дейстивтельно считаетете, что Клименти был нестолько невнимателен что не понял что от него требуют? Если Вы действительно так думаете, то попросите его представить переписку с Dr.Web или приведите иные доказательства, обосновывающие Вашу мысль. В противном случае Ваши идеи можно воспринимать исключительно как беспочвенные домыслы.

По всем законам тестирования' date=' если хочется протестировать бету, то не нужно забывать и про релиз.[/quote']

Бета была выбрана в качестве объекта тестирования исключительно по просьбе Dr. Web

А в тесте Клементи я по прежнему считаю' date=' что 4.33 могла показать лучшие результаты, чем 4.44 (с теми компонентами, которые тестировались). [/quote']

Да ну? Клименти придерживается иного мнения:

Also some other things would need correction, as some stated things are

absolutly wrong (e.g. that the current beta is now *fixed* and that 4.33 would

have scored higher than the beta of 4.44

Как Вы думаете кому стоит верить Вам или профессиональному независимому исследователю, имеющему к тому же огромный опыть проведения тестов подобного рода?

Но т.к. г-н Клементи протестировал только бету, то я не могу подтвердить или опровергнуть это моё подозрение.

Для того чтобы окончательно опровергнуть точку зрения, котороый вы придерживаетесь Клименти обещал представить отчет по проблемным сэмплам

в январе:

I plan to release a report in January about all questionable files that were in the test-set of August and which impact they had on the results

http://forum.drweb.com/viewtopic.php?t=5983

P.S. Валерий, Вы своими постами сильно дискредитируете свою фирму. Надеюсь, что официальная позиция Dr.Web расходится с вашей.

[Valery Ledovskoy 1082]

P.S. Валерий, Вы своими постами сильно дискредитируете свою фирму. Надеюсь, что официальная позиция Dr.Web расходится с вашей.

Я никого не дескредитирую. Я высказываю свою точку зрения.

Причём я не единственный из сотрудников её высказывал.

Я не отрицаю, что я могу быть неправ. Но проверить это не могу.

[Иван 290]

вот еще интересный коммент Клименти на тему мусора в его коллекции

in January we will release a report stating how much garbage was still included in the test-set of August 2007 and which impact it had on the results (the awards given). This will allow us to prove that the few garbage did not had any major impact on the results and will also give to the single vendors which claim that there is lot of garbage the opportunity to report and show how much garbage is in the tests. As the August test contained a huge amount of new samples (more than in any other our tests), it will be interesting to see how much garbage slipped thru our automated and manual analysis.