Перейти к содержанию
Иван

.av-comparatives.org: QA of August 2007 test-set & corrections

Recommended Posts

Иван

Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

change.PNG

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

забавно, что Frisk F-prot, который в лице Бончева один из главных "опускальщиков" тестов Клементи, самплы-то активненько долбит, которые в тестах напропускал, причем задолбил глядите скока (смотри насколько сократилось число невзятых самплов межуд августом и ноябрем) - и зачем же он долбит, если они битые?

missed.PNG

post-10-1206793625_thumb.png

post-10-1206793647_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

Вообще-то это немало. И при неудачной методологии результаты могут оказаться значительно различными без учёта процентного содержания битых сэмплов.

Вот если вернуться к схеме награждения ( http://antimalware.ru/index.phtml?part=tes...ymorphic_awards ) теста на детект полиморфов ( http://antimalware.ru/index.phtml?part=tes...est=polymorphic ) нашего портала, то 0,4% битых сэмплов означало бы, что 3 балла нужно было давать за результат где-то от 99,5% до 100% детекта, а не за точно 100%-ый результат. Чего, конечно, сделано не было. Предлагаю Сергею Ильину и соответствующим экспертам АМ обратить на этот факт внимание при проведении аналогичных тестов.

а еще не только говорит, но и показывает как вирлабы самплы пропущенные у него в тесте добавляют

При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

dr_dizel, а как Вы считаете? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
При этом Клементи не учитывает, что улучшение детекта по "старым" вирусам может достигаться не только за счёт сэмплов, полученных от него после проведения теста но и по сэмплам/информации, полученным из других источников?

а как он это учитывать может, он ведь просто на детект смотрит,

но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
но что- то мне подсказывает что такое вот резкое падение числа недетектируемых самплов у ф-прота вряд ли из-за получения их из сторонних источников

Конечно, график может показывать, насколько интенсивно вендоры используют полученную после теста информацию.

F-Prot, Avast, Fortinet явно сразу добавили большинство из недетектируемого, McAfee тоже добавил основную часть недетектируемого в этом тесте, но спустя месяц (оперативность страдает), а вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Опять же, эти выводы верны в случае, если мы коллекцию Клементи считаем идеально репрезентативной на момент проведения теста.

Но т.к. это не так, то возникают более интересные выводы. Например, если вендоры используют "заточку" детекта для побед в конечном наборе подобных тестов (а коллекции обычно в таких тестах не обновляются на 100% от одного теста к другому), то результаты этих тестов не могут отражать реальных способностей этих антивирусов обнаруживать вирусы, находящихся в "живой природе" в настоящий момент.

И здесь появляется дилемма. Нужно ли пропущенные сэмплы отсылать вендорам? По-хорошему стоит, если наша цель как независимых исследователей - борьба с вирусами в глобальных масштабах (а не только ранжирование антивирусов по некоторым показателям), т.е., так сказать, благородная миссия. Но для большей точности результатов будущих тестов (которые проводятся на большой выборке сэмплов, и если эта выборка от теста к тесту не обновляется на 100%) такие сэмплы вроде как отсылать не следует, ибо иначе в результатах появляются некоторые искусственно внесённые гармоники. Но во втором случае мы теряем в прозрачности/открытости результатов, невозможности их проверить. Отсылать проблемные сэмплы частично? Здесь свои проблемы - начнутся другие подозрения, типа таких, что показывается правда, но не вся.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
вот Microsoft и Dr.Web работает над детектом планомерно, не заостряя внимание на коллекции недетектируемого, которые передаются им после тестирования.

Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий какой вы молодец и тут нашли положительный момент, не побежали видите ли сломя голову работать над ошибками как некоторые дурачки, нет - "они работают планомерно" tongue.gif

Нет, просто сделал выводы на основе графика, но вряд ли можно такой вывод назвать 100%-но соответствующим действительности.

Так, небольшой анализ того, что можно вытянуть из таких графиков кроме того, что сказал Клементи. КАВ, судя по этому графику и не нуждался в особом улучшении детекта, но это не означает, конечно, что в реальности у КАВ идеальный детект. В результатах данного теста - да, близко.

Можно сделать и другое предположение. Например, присланная коллекция недетектируемого была подвергнута первоначальному анализу аналитиками Dr.Web, в результати было обнаружено множество битых файлов. На этом анализ коллекции был завершён как бесперспективный. Как было на самом деле - не знаю. Равно как не знаю, соответствут ли действительности то, что у Клементи не более 0,4% битых сэмплов в коллекции.

А вообще, 0,4% - это 4000 (!) битых сэмплов на миллион. И даже как-то не поворачивается язык говорить "всего лишь".

Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Добавка. В авгутсе 2007 г. у Клементи в тесте было 808.344 сэмпла ( http://www.av-comparatives.org/seiten/ergebnisse_2007_08.php ). Битых оказалось, только лишь по его собственному признанию, таким образом, 3.233 сэмпла. Это действительно именно "много".

Да Валерий, много. Но во-первых, если вы потрудитесь прочитать написанное в отчете, то увидите, что Клементи скорректировал результаты теста с учетом битости этих самплов - итог коррекции таков, расстановка продуктов и присвоенные им по результатам теста статусы не изменились. А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
А во-вторых, он пишет что уже потратил и будет продолжать тратить много сил на уменьшение числа битых самплов при помощи написания специальных утилит их проверки

Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
dr_dizel, а как Вы считаете? :)

Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием.

:P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Это радует. Значительные силы и время были потрачены вендорами не совсем зря.

Но также никто из независимых экспертов не подтвердил исследование коллекции Клементи на количество битых сэмплов.

И вывод Клементи о том, что 0,4% битых сэмплов изменили уровень детекта максимум на 0,08% мне кажется каким-то неестественным. Мне всегда казалось, что среди непродетекченных антивирусами сэмплов должно быть как раз больше битых сэмплов, чем среди продетекченных.

А скорректированные результаты Клементи говорят о том, что все антивирусы детектят от 80 до 100% битых сэмплов, находящихся в коллекции, как вирусы. Также не считаю эту ситуацию здоровой.

Конечно, нет ничего плохого в том, если антивирус задетектит как вирус битый сэмпл этого вируса (ибо это в общем-то не ложное срабатывание - в файле и "хорошего" ничего нет). Но эта ситуация дискредетирует данный тест как показывающий реальные возможности антивирусов. И тогда по крайней мере нужно при показе результатов ставить интервал погрешности +/-0,5%, даже если при проверке выясняется, что результаты отличаются не так сильно при удалении битых сэмплов.

Все неприятности идут от "автодятлов". :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Результаты практически любого теста представляют собой персонифицированные статистические данные. То, что статистика нечто большее, чем зло - мы уже давно знаем. Персонификация тоже вносит свою лепту. В итоге мы получаем что-то, что о чём-то там говорит, но ничего не гарантирует. Результаты выносят некий вердикт прошлому, но ничего не говорят про будущее. Касательно АВ, результаты говорят насколько хорошо вы были защищены в прошлом. Нет вообще никакой гарантии, что завтра через неизвестную публично дыру к вам не проникнет червь и не установит руткит, загасит АВ, дропнет вирус и т.п. Тесты создают некую иллюзию для пользователя в его защищённости, чтобы он с милой беззаботной улыбкой на лице без паники "умирал".

Считаю любые тесты злом, а обсуждение их пустым занятием."

А как без тестов можно сравнить АВ? Проводить голосование среди пользователей?

Что бы не тестировать "вчерашний день" нужно разнести дату тестирования и последнего обновления АВ скажем на месяц. Если по результатам 3-х таких тестов АВ будет брать >80%, то с таким АВ можно спать спокойно, а "червь долго будет искать у вас дыру" :rolleyes:

А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent
А битых сэмплов должно быть не 0,4%, а гораздо больше (~ 10-20%) иначе по ложным срабатываниям все АВ будут идеальными

Подразумевается количество битых сэмплов в коллекции, которая считалась целиком зараженной, для теста на общий детект.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Считаю любые тесты злом, а обсуждение их пустым занятием.

Ну вот, можете же высказывать своё мнение. А то всё дуетесь и дуетесь :)

Все неприятности идут от "автодятлов". laugh.gif

Вполне возможно. Тоже серьёзная проблема, набирающая обороты. Особенно после таких фактов, как удаление возможности не отсылать сэмплы при проверке на virustotal.com .

А как без тестов можно сравнить АВ?

Ставить каждый из продуктов на триальный срок и выработать собственное мнение. Точно так же, как каждый человек самостоятельно решает, каким образом защищать свою жизнь и жилище, сколько на это будет тратиться денег, содержать ли телохранителей или ограничиться оружием, лежащим в сейфе. Рано или поздно так и будет, наверное. Возможно, этому поспособствует обучение детей тому, что называется сейчас "высокие технологии", с пелёнок в рамках обязательного образования.

Лучше совсем без тестов, чем тесты, результаты которых никак не коррелируются и ничего не показывают, и точность которых далека от идеала. Потянешь за одну переменную - результаты рассыпаются, потянешь за другую - вообще бессмыслица получается :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Ставить каждый из продуктов на триальный срок и выработать собственное мнение."

Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Тесты хотя бы сужают число АВ которые можно поставить(зачем ставить откровенных аутсайдеров).

Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов) :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Ничего они не сужают. При неправильной методике (а не доказана строго математически ни одна методология проведения тестов антивирусов) первые запросто становятся если не последними, то середнячками. Я это уже не раз здесь показывал. Поэтому любой тест - лишь некая иллюстрация к работе антивирусов, один из разрезов (или, точнее, надрезов) :)

о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
о я вижу вы успешно продвигаете в жизнь мысль Шарова все тесты дерьмо поэтому мы в них участвовать не будем

тухлая затея, на тесты все равно будут смотреть и пиарить их будут

Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Нет, я не это хотел сказать. Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают. Но мы прекрасно знаем (а кто-то догадывается) недостатки каждого из тестов. А вот пользователи, для которых в журналах эти результаты печатаются, об этих недостатках тестирований даже не слышали и принимают эти результаты за чистую монету, и меня эта ситуация тоже волнует.

А по заявлению Бориса Шарова могу лишь сказать, что это одно из печальных следствий альянса с AV-Comparatives.org, о возможности которых я предупреждал. Были предчувствия, хотя я об этом решении узнал только сегодня на АМ. Хорошо, если на этом всё закончится. Больше я тут комментировать ничего не могу.

а что Валерий закончится?

в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Конечно, тесты проводить нужно, ибо хотя бы в первом приближении они что-то показывают."

Значит тесты всё же не дерьмо :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
в отличии от Маркса, в рабочей группе которого ваша компания участвует, Клементи дает и коллекции вендорам для разбора и проводит работу над ошибками (смотри выше) и в тестах точно указывает какие продукты каких версий и с какими базами он тестил. Я как человек со стороны вижу, что он по крайней мере работает над собой.

Человек работает над собой (причём заметно только в последнее время), но результаты тестов до окончания работы над собой публикуют везде, где можно. Без ремарок о том, что результаты могут не соответствовать действительности, могут содержать погрешности, могут быть основаны на ошибочной методологии и прочая, и прочая.

но вот почему-то от участия в его тестах вы отказываетесь, а вот Маркс вроде как у вас молодец.

По мне, так оба хороши.

А насчет здешних тестов - вы все равно ничего сделать не можете, запретить тестить ваши продукты не получится.

Не знаю я таких юридических тонкостей. Если ничего не препятствует, то почему бы не потестировать?

Дескредитировать вы тесты конечно можете, но после того, как вы везде пиарили и пиарите лечение активного заражения со ссылкой на антималваре ...выглядеть будет смешно

Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами". Кроме того, активного пиара компании "Доктор Веб" на тестах АМ не было. Один раз опубликовали ссылку в новости (которой давно уже нет на сайте). А дальше я пользователям давал ссылки на результаты тестов АМ по своей инициативе и не видел, чтобы кто-то ещё из сотрудников это начинание поддержал, увы.

Значит тесты всё же не дерьмо rolleyes.gif

Я не говорил, что они дерьмо. Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я ни разу не дискредетировал тесты АМ. Да, указывал на недостатки (но где их нет?). И наоборот даю всегда ссылки на тестирования АМ, чтобы их можно было сравнить с "Марксами и Энгельсами".

здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
здесь под словом вы я понимал Доктор Веб как компанию и в гипотетическом смысле

типа если вас тесты не устраивают, то вы в будущем можете везде трубить что они такие сякие плохие, но запретить тестировать не можете

Ок, ок. Если так, то так.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

"Я говорил о том, что начинающий пользователь не может по результатам тестов сделать правильный выбор. Выбор сделать сможет, но он будет навязан тестами, которые могут содержать (и часто содержат) ошибочную информацию."

Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Валерий, вы бы вместо критики, предложили бы свою объективную модель тестирования.

Модели тестирования основные уже существуют. И я постоянно делаю предложения по увеличению их точности. Но, к сожалению, я не на всё могу повлиять. Например, не могу повлиять на выбор источников поступления сэмплов в коллекцию, на которой проводится тестирование и так далее. Я могу лишь уточнять интерпретацию полученных результатов, могу предлагать вычислить погрешность полученных результатов и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Ваш друган Клементи ответил на вопросы читателей на тему того, что у него битых самплов в коллекции много

http://www.av-comparatives.org/seiten/ergebnisse/QA2007.pdf

говорит проверил коллекцию, которую использовал в августе 2007 года, битых самплов гооврит всего 0,4%

изменения говорит минимальные

Иван, вот для полного счастья он опубликовал статистику по так называемым "фолсам", которые на проверку оказались вредоносами... СНГошные вендоры это доказывали не раз

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×