Перейти к содержанию
Иван

AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009)

Recommended Posts

Иван

случилось чудо

Клементий выкатил динамический тест http://www.av-comparatives.org/images/stor...dynamic2009.pdf

т.е. имитация реальных действий юзера, переходы по заражённым ссылкам

в отличии от стандартных тестов тут проверяется работа абсолютно всех модулей, т.е. кроме стандартных сигнатур с эвристиками учитываются работа хипсов там, поведенческих блокираторов и прочей новомодности.

если то, шо он пишет правда, то ребята стахановцы

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

результаты смотрите ниже, меня удивили очень высокие проценты у всех

прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

avc.png

post-10-1261221711_thumb.png

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
а тут прям все молодцы

Так зачем ребят обижать? ;)

Во всех тестах, что Клементи, что Маркс - всегда у всех в любом тесте результаты за 90%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz
случилось чудо

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

Даже только это - огромный плюс и прорыв по сравнению с местным "конкурсом".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee

Впечатлило и порадовало...

А Microsoft ,похоже,значительные ресурсы вложил в свой продукт...Особенно если учесть,что это бесплатная версия.

Оставить позади G-DATA,ESET,F-Secure...уж не говоря о McAfee.. :o

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Даже только это - огромный плюс и прорыв

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

А сколько было на АМ?

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

А ты посмотри. ;)

Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Или ты скажешь нет? Что ж тогда ты делал тест на виртуальных машинах?

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Да вообще ни говори... Нафиг AMTSO, давай наших, вот только посмотрим к кому вопросов по методологии возникнет больше ;)

p.s. В репутацию можешь что-нибудь воткнуть очередное несуразное, так свойственное тебе ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Это понятно :)

Но дело в том, что тест всего-то на каких-то 100 сылках проводился более полугода... Я понимаю, что опыта мало и т.д., но тем не менее... Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить ;)).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

В чтении методологии мы не утруждаемся? ;)

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

судя по постам нет, не читают они её, а зря

вот в соседней ветке про близкий по сути тест AV-Test.org http://www.anti-malware.ru/forum/index.php...st=0#entry90694

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v
Таких ссылок появляется и умирает сотнями в сутки..

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

Ах, точно, не учёл.. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
(я так вижу мир - ногами не пинать, может я не прав)

Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

и там будет ваш продукт? а чего его щас нет?

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

а вот можно долго спорить чего правильней

они тестят реально то что юзеру прибегает

а на AM каким-то экспертным образом отобранные сцылки

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

вот не могу проголосовать за тот или иной подход однозначно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
а чего его щас нет?

Я не участвую в регулярном тестировании.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
они тестят реально то что юзеру прибегает

Мы тоже тестировали на том, что прибегает к юзеру.

Не сами же мы писали сплоет тулкит и малварь :D

а на AM каким-то экспертным образом отобранные сцылки

Именно! Отобранные - ключевое слово. Отбирались в соответствии с определенными требованиями. Если отбирать без требований, наобум - результаты будут рандомные. То бишь когда как. А если выборка будет большая - то все-равно в результате первым будет лучший и продукты выстроятся в соответствии с качеством защиты, только процент "защищено" будет чуть менее 100% и будут чуть убывать от продукта к продукту - что мы и видим в таблице. Да и в плюсах будут технологии зависимые от времени - чем больше времени пройдет между появлением некоего хоста с вирусом - тем больше продуктов будут блокировать доступ к такому ресурсу.

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

В соответствии с методикой теста на лечение активного заражения берутся как раз-таки распространенное вирье - просто из всего набора выбираются на наш взгляд самые сложные варианты, а не все подряд. Иначе снова - если брать просто наобум из всего распространенного, то результаты будут совершенно различны из раза в раз. Более того - в силу специфики теста и методики - большую выборку использовать нельзя. Но если это сделать, выбрать сотню малвар, столько же тестеров =)) и провести тест - все-равно лидеры победители будут одни и те же, только процент будет от чуть меньше 100 и где-то до 90% :) То бишь все прекрасно лечат.

То есть, обобщу написанное:

Смотря что мы хотим проверять этими тестами - то, как продукт справляется в самой заурядной ситуации или же хотим проверить технологические возможности продукта на сложных, но, тем не менее, весьма реальных ситуациях.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить wink.gif).

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Верно, это ключевое отличие наших тестов.

Бог с ней с методологией, какая она есть. Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

В анализе трудно удержаться от сравнения. Это всё равно что взять 15 легковых авто и протестировать их способность проехать на скорости 100 км/час по ровной, заасфальтированной дороге расстояние в 1 км. И по результатам такого "теста" вывести некий результат. Этот результат очень будет напоминать то, что мы видим в первом сообщении - "по результатам нашего теста 95% авто отлично справились с дистанцией 1 км по ровному асфальту!"

А на возмущенные крики из толпы, типа: "ну а как же они ездят по ухабам, в непогоду, и тёмное время суток?", демонстративно ответить: "Такой тест авто запланирован в следующем десятилетии!" :P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Ну вот смотрите, сделали тест как хотели вендоры. Специально для этого создали AMTSO, принципы тестирования написали, все красиво, все замечательно. В результате мы имеем то, что имеем - почти все антивирусы, заплатившие за тестирование одинаково хорошие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Что ж ты тогда не делал тест на реальных машинах, а? ;)

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

Ой-ой-ой, молодец, "слив защитан" ;)

Ты можешь позволить себе штат человек в 20 или хотя бы 10-15?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Что ж ты тогда не делал тест на реальных машинах, а? wink.gif

Многократно уже обсуждалось. Повторю вопрос. Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO? Чем конкретно тест на реальных машинах лучше? Не люблю пустозвонов (смайлфагов тоже).

Особенно это очень интересно с учетом общего тренда на VDI, к которому всех поддталкивают гиганты ИТ-индустии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

Складывается впечатление, что всем кроме Рашевского Романа и Сергея Ильина "нас_рать" и на AMTSO, и на этот тест :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Арбитражный управляющий Каждый может оказаться в такой ситуации, когда требуется профессиональная и своевременная поддержка юриста. Если и вы вынуждены стать банкротом и оформить это по закону, то необходимо обратиться за такой услугой в центр банкротства. В компании работают квалифицированные специалисты с большим опытом, а в их багаже большое количество успешно завершенных дел. Именно поэтому вы сможете надеяться на отличный результат. Важно учесть тот момент, что специалисты детально изучают вопрос для того, чтобы подробно рассмотреть вопрос, после чего выявить возможности благоприятного результата. Списать долги Волгоград (Списание кредитов) получится по закону. Нет необходимости в том, чтобы переживать за процесс. Так специалисту удастся списать те долги, которые вы не в силах выплатить. Увы, но этот процесс может занять несколько месяцев, к тому же он не бесплатный. Банкротство физических лиц в Волгограде ведет компетентный сотрудник – он добросовестно и ответственно подойдет к решению вопроса. Он будет защищать интересы клиента, руководствуясь Конституцией. Юрист по банкротству займется оформлением документов и заявления, подготовит все факты в пользу того, чтобы объявить вас неплатежеспособным. Опыт сотрудников позволяет браться за дела различной сложности. Арбитражный управляющий Волгоград поможет вам избавиться от долгов. Что касается расценок, то на них влияют самые разные факторы, включая расходы на законодательном уровне. Подписывается договор на указание услуг – в нем указываются обязанности каждой стороны, набор услуг. Юрист рассмотрит все аспекты вашего дела. Важным моментом является то, что все ваши долги будут списаны в полном объеме при положительном исходе дела. Специалист использует все ресурсы, которые потребуются для того, чтобы получить положительный результат.
    • Dmitrius
      Септик в Москве и Московской области Компания долгое время и на выгодных условиях оказывает услуги, связанные со строительством автономной канализации в Москве и области. Если Вам необходима выгребная яма – ознакомьтесь с интересующей информацией на официальном портале. Автономная канализация, организованная на дачном участке, положительно влияет на уровень комфорта. Несмотря на то, планируется ли круглый год проживать на участке или только летом, вы почувствуете удобство. Цену на ее установку вы сможете узнать на сайте. Компания длительное время работает в данной сфере, а потому предлагает только выгодные условия, доступные цены, а сами работы выполняются быстро, аккуратно и в наиболее комфортное время. Она наладила сотрудничество с проверенными и надежными поставщиками оборудования. Специалисты создадут высокотехнологичную и работающую систему под ключ. В работе используются только надежные, качественные материалы, выполняются технологические условия. Если говорить о ценах, то они остаются на среднем уровне, а потому воспользоваться услугой смогут все, кто хочет. Кольцевой накопитель отлично подходит для сбора сточных вод при условии, что в доме на постоянной основе проживают до 7 человек. Все работы будут выполнены в минимальные сроки и тогда, когда это удобно именно вам. С собой будут все необходимые инструменты, а также материалы. Сотрудники осуществят установку и выполнят все нужные работы. При появлении вопросов задайте их сотрудникам, которые все пояснят, а также определят общую стоимость работ. Специалисты выполнят все необходимые работы, несмотря на время года. Отсутствуют дополнительные наценки, переплаты, только прозрачные условия сотрудничества.
    • Ramonsmaps
      Over the years of independence, the institute has trained more than 13000 physicians (including 800 clinical interns, 1116 masters, 200 postgraduates and 20 doctoral students) in various directions.

      870 staff work at the institute at present,[when?] including 525 professorial-teaching staff in 55 departments, 34 of them are Doctors of science and 132 candidates of science. 4 staff members of the professorial-teaching staff of the institute are Honoured Workers of Science of the Republic of Uzbekistan, 3 – are members of New-York and 2 – members of Russian Academy of Pedagogical Science.

      The institute has been training medical staff on the following faculties and directions: Therapeutic, Pediatric, Dentistry, Professional Education, Preventive Medicine, Pharmacy, High Nursing Affair and Physicians’ Advanced Training. At present[when?] 3110 students have been studying at the institute (1331 at the Therapeutic faculty, 1009 at the Pediatric, 358 at the Dentistry, 175 students at the Professional Education Direction, 49 at the faculty of Pharmacy, 71 at the Direction of Preventive Medicine, 117 ones study at the Direction of High Nursing Affair).

      Today graduates of the institute are trained in the following directions of master's degree: obstetrics and gynecology, therapy (with its directions), otorhinolaryngology, cardiology, ophthalmology, infectious diseases (with its directions), dermatovenereology, neurology, general oncology, morphology, surgery (with its directions), instrumental and functional diagnostic methods (with its directions), neurosurgery, public health and public health services (with its directions), urology, narcology, traumatology and orthopedics, forensic medical examination, pediatrics (with its directions), pediatric surgery, pediatric anesthesiology and intensive care, children's cardiology and rheumatology, pediatric neurology, neonatology, sports medicine.

      The clinic of the institute numbers 700 seats and equipped with modern diagnostic and treating instrumentations: MRT, MSCT, Scanning USI, Laparoscopic Center and others.

      There are all opportunities to carry out sophisticated educational process and research work at the institute.

      Source:
      https://adti.uz/magistratura/
      medical institutes of uzbekistan

      Tags:
      medical institutes of uzbekistan
      regional scientific medical library
      electronic library of a medical student
      electronic medical library official website
    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
×