.av-comparatives.org: QA of August 2007 test-set & corrections

[Иван 290]

Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

забавно, что Frisk F-prot, который в лице Бончева один из главных "опускальщиков" тестов Клементи, самплы-то активненько долбит, которые в тестах напропускал, причем задолбил глядите скока (смотри насколько сократилось число невзятых самплов межуд августом и ноябрем) - и зачем же он долбит, если они битые?

[Valery Ledovskoy 1082]

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

Вообще-то это немало. И при неудачной методологии результаты могут оказаться значительно различными без учёта процентного содержания битых сэмплов.

Вот если вернуться к схеме награждения ( http://antimalware.ru/index.phtml?part=tes...ymorphic_awards ) теста на детект полиморфов ( http://antimalware.ru/index.phtml?part=tes...est=polymorphic ) нашего портала, то 0,4% битых сэмплов означало бы, что 3 балла нужно было давать за результат где-то от 99,5% до 100% детекта, а не за точно 100%-ый результат. Чего, конечно, сделано не было. Предлагаю Сергею Ильину и соответствующим экспертам АМ обратить на этот факт внимание при проведении аналогичных тестов.

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

dr_dizel, а как Вы считаете?

[Иван 290]

При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

а как он это учитывать может, он ведь просто на детект смотрит,

но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

[Valery Ledovskoy 1082]

но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Конечно, график может показывать, насколько интенсивно вендоры используют полученную после теста информацию.

F-Prot, Avast, Fortinet явно сразу добавили большинство из недетектируемого, McAfee тоже добавил основную часть недетектируемого в этом тесте, но спустя месяц (оперативность страдает), а вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Опять же, эти выводы верны в случае, если мы коллекцию Клементи считаем идеально репрезентативной на момент проведения теста.

Но т.к. это не так, то возникают более интересные выводы. Например, если вендоры используют "заточку" детекта для побед в конечном наборе подобных тестов (а коллекции обычно в таких тестах не обновляются на 100% от одного теста к другому), то результаты этих тестов не могут отражать реальных способностей этих антивирусов обнаруживать вирусы, находящихся в "живой природе" в настоящий момент.

И здесь появляется дилемма. Нужно ли пропущенные сэмплы отсылать вендорам? По-хорошему стоит, если наша цель как независимых исследователей - борьба с вирусами в глобальных масштабах (а не только ранжирование антивирусов по некоторым показателям), т.е., так сказать, благородная миссия. Но для большей точности результатов будущих тестов (которые проводятся на большой выборке сэмплов, и если эта выборка от теста к тесту не обновляется на 100%) такие сэмплы вроде как отсылать не следует, ибо иначе в результатах появляются некоторые искусственно внесённые гармоники. Но во втором случае мы теряем в прозрачности/открытости результатов, невозможности их проверить. Отсылать проблемные сэмплы частично? Здесь свои проблемы - начнутся другие подозрения, типа таких, что показывается правда, но не вся.

[Иван 290]

вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно"

[Valery Ledovskoy 1082]

Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" tongue.gif

Нет, просто сделал выводы на основе графика, но вряд ли можно такой вывод назвать 100%-но соответствующим действительности.

Так, небольшой анализ того, что можно вытянуть из таких графиков кроме того, что сказал Клементи. КАВ, судя по этому графику и не нуждался в особом улучшении детекта, но это не означает, конечно, что в реальности у КАВ идеальный детект. В результатах данного теста - да, близко.

Можно сделать и другое предположение. Например, присланная коллекция недетектируемого была подвергнута первоначальному анализу аналитиками Dr.Web, в результати было обнаружено множество битых файлов. На этом анализ коллекции был завершён как бесперспективный. Как было на самом деле - не знаю. Равно как не знаю, соответствут ли действительности то, что у Клементи не более 0,4% битых сэмплов в коллекции.

А вообще, 0,4% - это 4000 (!) битых сэмплов на миллион. И даже как-то не поворачивается язык говорить "всего лишь".

Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

[Иван 290]

Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Да Валерий, много. Но во-первых, если вы потрудитесь прочитать написанное в отчете, то увидите, что Клементи скорректировал результаты теста с учетом битости этих самплов - итог коррекции таков, расстановка продуктов и присвоенные им по результатам теста статусы не изменились. А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

[Valery Ledovskoy 1082]

А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

[dr_dizel 385]

dr_dizel, а как Вы считаете?

Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием.

[Виталий Я. 859]

Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Все неприятности идут от "автодятлов".

[Andrey75 0]

"Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием."

А как без тестов можно сравнить АВ? Проводить голосование среди пользователей?

Что бы не тестировать "вчерашний день" нужно разнести дату тестирования и последнего обновления АВ скажем на месяц. Если по результатам 3-х таких тестов АВ будет брать >80%, то с таким АВ можно спать спокойно, а "червь долго будет искать у вас дыру"

А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

[dot_sent 140]

А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Подразумевается количество битых сэмплов в коллекции, которая считалась целиком зараженной, для теста на общий детект.

[Valery Ledovskoy 1082]

Считаю любые тесты злом, а обсуждение их пустым занятием.

Ну вот, можете же высказывать своё мнение. А то всё дуетесь и дуетесь

Все неприятности идут от "автодятлов". laugh.gif

Вполне возможно. Тоже серьёзная проблема, набирающая обороты. Особенно после таких фактов, как удаление возможности не отсылать сэмплы при проверке на virustotal.com .

А как без тестов можно сравнить АВ?

Ставить каждый из продуктов на триальный срок и выработать собственное мнение. Точно так же, как каждый человек самостоятельно решает, каким образом защищать свою жизнь и жилище, сколько на это будет тратиться денег, содержать ли телохранителей или ограничиться оружием, лежащим в сейфе. Рано или поздно так и будет, наверное. Возможно, этому поспособствует обучение детей тому, что называется сейчас "высокие технологии", с пелёнок в рамках обязательного образования.

Лучше совсем без тестов, чем тесты, результаты которых никак не коррелируются и ничего не показывают, и точность которых далека от идеала. Потянешь за одну переменную - результаты рассыпаются, потянешь за другую - вообще бессмыслица получается

[Andrey75 0]

"Ставить каждый из продуктов на триальный срок и выработать собственное мнение."

Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

[Valery Ledovskoy 1082]

Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов)

[Иван 290]

Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов)

о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

[Valery Ledovskoy 1082]

о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

[Иван 290]

Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

а что Валерий закончится?

в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

[Andrey75 0]

"Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают."

Значит тесты всё же не дерьмо

[Valery Ledovskoy 1082]

в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

Человек работает над собой (причём заметно только в последнее время), но результаты тестов до окончания работы над собой публикуют везде, где можно. Без ремарок о том, что результаты могут не соответствовать действительности, могут содержать погрешности, могут быть основаны на ошибочной методологии и прочая, и прочая.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

По мне, так оба хороши.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Не знаю я таких юридических тонкостей. Если ничего не препятствует, то почему бы не потестировать?

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами". Кроме того, активного пиара компании "Доктор Веб" на тестах АМ не было. Один раз опубликовали ссылку в новости (которой давно уже нет на сайте). А дальше я пользователям давал ссылки на результаты тестов АМ по своей инициативе и не видел, чтобы кто-то ещё из сотрудников это начинание поддержал, увы.

Значит тесты всё же не дерьмо rolleyes.gif

Я не говорил, что они дерьмо. Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию.

[Иван 290]

Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами".

здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

[Valery Ledovskoy 1082]

здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Ок, ок. Если так, то так.

[Andrey75 0]

"Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию."

Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

[Valery Ledovskoy 1082]

Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Модели тестирования основные уже существуют. И я постоянно делаю предложения по увеличению их точности. Но, к сожалению, я не на всё могу повлиять. Например, не могу повлиять на выбор источников поступления сэмплов в коллекцию, на которой проводится тестирование и так далее. Я могу лишь уточнять интерпретацию полученных результатов, могу предлагать вычислить погрешность полученных результатов и т.д.

[alexgr 556]

Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

Иван, вот для полного счастья он опубликовал статистику по так называемым "фолсам", которые на проверку оказались вредоносами... СНГошные вендоры это доказывали не раз