Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

В этой теме 28 сообщений

Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

change.PNG

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

забавно, что Frisk F-prot, который в лице Бончева один из главных "опускальщиков" тестов Клементи, самплы-то активненько долбит, которые в тестах напропускал, причем задолбил глядите скока (смотри насколько сократилось число невзятых самплов межуд августом и ноябрем) - и зачем же он долбит, если они битые?

missed.PNG

post-10-1206793625_thumb.png

post-10-1206793647_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

Вообще-то это немало. И при неудачной методологии результаты могут оказаться значительно различными без учёта процентного содержания битых сэмплов.

Вот если вернуться к схеме награждения ( http://antimalware.ru/index.phtml?part=tes...ymorphic_awards ) теста на детект полиморфов ( http://antimalware.ru/index.phtml?part=tes...est=polymorphic ) нашего портала, то 0,4% битых сэмплов означало бы, что 3 балла нужно было давать за результат где-то от 99,5% до 100% детекта, а не за точно 100%-ый результат. Чего, конечно, сделано не было. Предлагаю Сергею Ильину и соответствующим экспертам АМ обратить на этот факт внимание при проведении аналогичных тестов.

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

dr_dizel, а как Вы считаете? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

а как он это учитывать может, он ведь просто на детект смотрит,

но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Конечно, график может показывать, насколько интенсивно вендоры используют полученную после теста информацию.

F-Prot, Avast, Fortinet явно сразу добавили большинство из недетектируемого, McAfee тоже добавил основную часть недетектируемого в этом тесте, но спустя месяц (оперативность страдает), а вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Опять же, эти выводы верны в случае, если мы коллекцию Клементи считаем идеально репрезентативной на момент проведения теста.

Но т.к. это не так, то возникают более интересные выводы. Например, если вендоры используют "заточку" детекта для побед в конечном наборе подобных тестов (а коллекции обычно в таких тестах не обновляются на 100% от одного теста к другому), то результаты этих тестов не могут отражать реальных способностей этих антивирусов обнаруживать вирусы, находящихся в "живой природе" в настоящий момент.

И здесь появляется дилемма. Нужно ли пропущенные сэмплы отсылать вендорам? По-хорошему стоит, если наша цель как независимых исследователей - борьба с вирусами в глобальных масштабах (а не только ранжирование антивирусов по некоторым показателям), т.е., так сказать, благородная миссия. Но для большей точности результатов будущих тестов (которые проводятся на большой выборке сэмплов, и если эта выборка от теста к тесту не обновляется на 100%) такие сэмплы вроде как отсылать не следует, ибо иначе в результатах появляются некоторые искусственно внесённые гармоники. Но во втором случае мы теряем в прозрачности/открытости результатов, невозможности их проверить. Отсылать проблемные сэмплы частично? Здесь свои проблемы - начнутся другие подозрения, типа таких, что показывается правда, но не вся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" tongue.gif

Нет, просто сделал выводы на основе графика, но вряд ли можно такой вывод назвать 100%-но соответствующим действительности.

Так, небольшой анализ того, что можно вытянуть из таких графиков кроме того, что сказал Клементи. КАВ, судя по этому графику и не нуждался в особом улучшении детекта, но это не означает, конечно, что в реальности у КАВ идеальный детект. В результатах данного теста - да, близко.

Можно сделать и другое предположение. Например, присланная коллекция недетектируемого была подвергнута первоначальному анализу аналитиками Dr.Web, в результати было обнаружено множество битых файлов. На этом анализ коллекции был завершён как бесперспективный. Как было на самом деле - не знаю. Равно как не знаю, соответствут ли действительности то, что у Клементи не более 0,4% битых сэмплов в коллекции.

А вообще, 0,4% - это 4000 (!) битых сэмплов на миллион. И даже как-то не поворачивается язык говорить "всего лишь".

Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Да Валерий, много. Но во-первых, если вы потрудитесь прочитать написанное в отчете, то увидите, что Клементи скорректировал результаты теста с учетом битости этих самплов - итог коррекции таков, расстановка продуктов и присвоенные им по результатам теста статусы не изменились. А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel, а как Вы считаете? :)

Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием.

:P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Все неприятности идут от "автодятлов". :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

"Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием."

А как без тестов можно сравнить АВ? Проводить голосование среди пользователей?

Что бы не тестировать "вчерашний день" нужно разнести дату тестирования и последнего обновления АВ скажем на месяц. Если по результатам 3-х таких тестов АВ будет брать >80%, то с таким АВ можно спать спокойно, а "червь долго будет искать у вас дыру" :rolleyes:

А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Подразумевается количество битых сэмплов в коллекции, которая считалась целиком зараженной, для теста на общий детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Считаю любые тесты злом, а обсуждение их пустым занятием.

Ну вот, можете же высказывать своё мнение. А то всё дуетесь и дуетесь :)

Все неприятности идут от "автодятлов". laugh.gif

Вполне возможно. Тоже серьёзная проблема, набирающая обороты. Особенно после таких фактов, как удаление возможности не отсылать сэмплы при проверке на virustotal.com .

А как без тестов можно сравнить АВ?

Ставить каждый из продуктов на триальный срок и выработать собственное мнение. Точно так же, как каждый человек самостоятельно решает, каким образом защищать свою жизнь и жилище, сколько на это будет тратиться денег, содержать ли телохранителей или ограничиться оружием, лежащим в сейфе. Рано или поздно так и будет, наверное. Возможно, этому поспособствует обучение детей тому, что называется сейчас "высокие технологии", с пелёнок в рамках обязательного образования.

Лучше совсем без тестов, чем тесты, результаты которых никак не коррелируются и ничего не показывают, и точность которых далека от идеала. Потянешь за одну переменную - результаты рассыпаются, потянешь за другую - вообще бессмыслица получается :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

"Ставить каждый из продуктов на триальный срок и выработать собственное мнение."

Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов) :)

о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

а что Валерий закончится?

в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

"Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают."

Значит тесты всё же не дерьмо :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

Человек работает над собой (причём заметно только в последнее время), но результаты тестов до окончания работы над собой публикуют везде, где можно. Без ремарок о том, что результаты могут не соответствовать действительности, могут содержать погрешности, могут быть основаны на ошибочной методологии и прочая, и прочая.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

По мне, так оба хороши.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Не знаю я таких юридических тонкостей. Если ничего не препятствует, то почему бы не потестировать?

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами". Кроме того, активного пиара компании "Доктор Веб" на тестах АМ не было. Один раз опубликовали ссылку в новости (которой давно уже нет на сайте). А дальше я пользователям давал ссылки на результаты тестов АМ по своей инициативе и не видел, чтобы кто-то ещё из сотрудников это начинание поддержал, увы.

Значит тесты всё же не дерьмо rolleyes.gif

Я не говорил, что они дерьмо. Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами".

здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Ок, ок. Если так, то так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

"Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию."

Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Модели тестирования основные уже существуют. И я постоянно делаю предложения по увеличению их точности. Но, к сожалению, я не на всё могу повлиять. Например, не могу повлиять на выбор источников поступления сэмплов в коллекцию, на которой проводится тестирование и так далее. Я могу лишь уточнять интерпретацию полученных результатов, могу предлагать вычислить погрешность полученных результатов и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

Иван, вот для полного счастья он опубликовал статистику по так называемым "фолсам", которые на проверку оказались вредоносами... СНГошные вендоры это доказывали не раз

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • PR55.RP55
      + MapsFrontier
      Global Security Center OOO
      Total PC
      Blue Century Software co.
      Elex do Brasil Participacoes Ltda.
    • Openair
    • Ego Dekker
      Декабрь 2019 — дата окончания жизненного цикла ESET NOD32/ESET Smart Security 9.0.
    • demkd
      драйверу не нужно заниматься такой ерундой как сплайсинг, просто запись в реестре не была скрыта, не доделали руткит.
    • Ольга_diplombest
      Высшее образование — сегодня это головная боль. Хотя каждый молодой человек стремиться его получить, как залог хорошей работы и высокой зарплаты в будущем. Но ВУЗы уже перестали быть бесплатными, поэтому получить образование можно только за деньги. Поэтому все чаще портрет современного студента — это работающий человек, который совмещает работу с учебой и еще имеющий семью. К тому же ссесия, написание рефератов. Курсовых работ или защита диплома — это настоящее испытание требующее много времени и сил.Необходимо время на поиск материала диплома,  написание работы, а еще семья и работа —и вот времени не хватает. При этом все успеть, порой физически бывает не возможно. И вот студент думает выхода нет и заваливает ссесию, бросает ВУЗ. Но выход есть, воспользоваться профессиональными преподавателями, аспирантами, докторами наук ... ка сделали уже многие студенты — https://diplombest.ru/сайт для тех, кто ценит время и бережет нервы. Компания работает без предоплаты, что гарантирует получение качественной работы в срок и без рисков для студента, политика скидок позволяет экономить до 50% от стоймости работы, что заслуживает доверия со стороны студентаТогда получение высшего образования будет в радость и через 5 лет ты уже заслуженный специалист.