AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009)

[Иван 290]

случилось чудо

Клементий выкатил динамический тест http://www.av-comparatives.org/images/stor...dynamic2009.pdf

т.е. имитация реальных действий юзера, переходы по заражённым ссылкам

в отличии от стандартных тестов тут проверяется работа абсолютно всех модулей, т.е. кроме стандартных сигнатур с эвристиками учитываются работа хипсов там, поведенческих блокираторов и прочей новомодности.

если то, шо он пишет правда, то ребята стахановцы

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

результаты смотрите ниже, меня удивили очень высокие проценты у всех

прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

[vaber 350]

а тут прям все молодцы

Так зачем ребят обижать?

Во всех тестах, что Клементи, что Маркс - всегда у всех в любом тесте результаты за 90%.

[Zilla 340]

100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

[xyz 45]

случилось чудо

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

Даже только это - огромный плюс и прорыв по сравнению с местным "конкурсом".

[Arnee 10]

Впечатлило и порадовало...

А Microsoft ,похоже,значительные ресурсы вложил в свой продукт...Особенно если учесть,что это бесплатная версия.

Оставить позади G-DATA,ESET,F-Secure...уж не говоря о McAfee..

[Сергей Ильин 1538]

прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта Это те самые принципы тестирования от AMTSO в действии?

Даже только это - огромный плюс и прорыв

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

[Рашевский Роман 110]

100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

А сколько было на АМ?

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

А ты посмотри.

Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Или ты скажешь нет? Что ж тогда ты делал тест на виртуальных машинах?

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта Это те самые принципы тестирования от AMTSO в действии?

Да вообще ни говори... Нафиг AMTSO, давай наших, вот только посмотрим к кому вопросов по методологии возникнет больше

p.s. В репутацию можешь что-нибудь воткнуть очередное несуразное, так свойственное тебе

[Zilla 340]

Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

[Alex_Goodwin 81]

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

[Рашевский Роман 110]

Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Это понятно

Но дело в том, что тест всего-то на каких-то 100 сылках проводился более полугода... Я понимаю, что опыта мало и т.д., но тем не менее... Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить ).

[AlexxSun 150]

Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров?

[Рашевский Роман 110]

Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров?

В чтении методологии мы не утруждаемся?

[Иван 290]

судя по постам нет, не читают они её, а зря

вот в соседней ветке про близкий по сути тест AV-Test.org http://www.anti-malware.ru/forum/index.php...st=0#entry90694

[priv8v 960]

Таких ссылок появляется и умирает сотнями в сутки..

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

[Zilla 340]

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

Ах, точно, не учёл..

[Илья Рабинович 521]

(я так вижу мир - ногами не пинать, может я не прав)

Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

[Иван 290]

Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

и там будет ваш продукт? а чего его щас нет?

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

а вот можно долго спорить чего правильней

они тестят реально то что юзеру прибегает

а на AM каким-то экспертным образом отобранные сцылки

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

вот не могу проголосовать за тот или иной подход однозначно

[Илья Рабинович 521]

а чего его щас нет?

Я не участвую в регулярном тестировании.

[vaber 350]

они тестят реально то что юзеру прибегает

Мы тоже тестировали на том, что прибегает к юзеру.

Не сами же мы писали сплоет тулкит и малварь

а на AM каким-то экспертным образом отобранные сцылки

Именно! Отобранные - ключевое слово. Отбирались в соответствии с определенными требованиями. Если отбирать без требований, наобум - результаты будут рандомные. То бишь когда как. А если выборка будет большая - то все-равно в результате первым будет лучший и продукты выстроятся в соответствии с качеством защиты, только процент "защищено" будет чуть менее 100% и будут чуть убывать от продукта к продукту - что мы и видим в таблице. Да и в плюсах будут технологии зависимые от времени - чем больше времени пройдет между появлением некоего хоста с вирусом - тем больше продуктов будут блокировать доступ к такому ресурсу.

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

В соответствии с методикой теста на лечение активного заражения берутся как раз-таки распространенное вирье - просто из всего набора выбираются на наш взгляд самые сложные варианты, а не все подряд. Иначе снова - если брать просто наобум из всего распространенного, то результаты будут совершенно различны из раза в раз. Более того - в силу специфики теста и методики - большую выборку использовать нельзя. Но если это сделать, выбрать сотню малвар, столько же тестеров =)) и провести тест - все-равно лидеры победители будут одни и те же, только процент будет от чуть меньше 100 и где-то до 90% То бишь все прекрасно лечат.

То есть, обобщу написанное:

Смотря что мы хотим проверять этими тестами - то, как продукт справляется в самой заурядной ситуации или же хотим проверить технологические возможности продукта на сложных, но, тем не менее, весьма реальных ситуациях.

[Сергей Ильин 1538]

Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить wink.gif).

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Верно, это ключевое отличие наших тестов.

Бог с ней с методологией, какая она есть. Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

[AlexxSun 150]

Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

В анализе трудно удержаться от сравнения. Это всё равно что взять 15 легковых авто и протестировать их способность проехать на скорости 100 км/час по ровной, заасфальтированной дороге расстояние в 1 км. И по результатам такого "теста" вывести некий результат. Этот результат очень будет напоминать то, что мы видим в первом сообщении - "по результатам нашего теста 95% авто отлично справились с дистанцией 1 км по ровному асфальту!"

А на возмущенные крики из толпы, типа: "ну а как же они ездят по ухабам, в непогоду, и тёмное время суток?", демонстративно ответить: "Такой тест авто запланирован в следующем десятилетии!"

[Сергей Ильин 1538]

Ну вот смотрите, сделали тест как хотели вендоры. Специально для этого создали AMTSO, принципы тестирования написали, все красиво, все замечательно. В результате мы имеем то, что имеем - почти все антивирусы, заплатившие за тестирование одинаково хорошие.

[Рашевский Роман 110]

Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Что ж ты тогда не делал тест на реальных машинах, а?

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

Ой-ой-ой, молодец, "слив защитан"

Ты можешь позволить себе штат человек в 20 или хотя бы 10-15?

[Сергей Ильин 1538]

Что ж ты тогда не делал тест на реальных машинах, а? wink.gif

Многократно уже обсуждалось. Повторю вопрос. Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO? Чем конкретно тест на реальных машинах лучше? Не люблю пустозвонов (смайлфагов тоже).

Особенно это очень интересно с учетом общего тренда на VDI, к которому всех поддталкивают гиганты ИТ-индустии.

[priv8v 960]

Складывается впечатление, что всем кроме Рашевского Романа и Сергея Ильина "нас_рать" и на AMTSO, и на этот тест