AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Иван

AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009)

Recommended Posts

Иван

случилось чудо

Клементий выкатил динамический тест http://www.av-comparatives.org/images/stor...dynamic2009.pdf

т.е. имитация реальных действий юзера, переходы по заражённым ссылкам

в отличии от стандартных тестов тут проверяется работа абсолютно всех модулей, т.е. кроме стандартных сигнатур с эвристиками учитываются работа хипсов там, поведенческих блокираторов и прочей новомодности.

если то, шо он пишет правда, то ребята стахановцы

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

результаты смотрите ниже, меня удивили очень высокие проценты у всех

прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

avc.png

post-10-1261221711_thumb.png

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
а тут прям все молодцы

Так зачем ребят обижать? ;)

Во всех тестах, что Клементи, что Маркс - всегда у всех в любом тесте результаты за 90%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz
случилось чудо

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

Даже только это - огромный плюс и прорыв по сравнению с местным "конкурсом".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee

Впечатлило и порадовало...

А Microsoft ,похоже,значительные ресурсы вложил в свой продукт...Особенно если учесть,что это бесплатная версия.

Оставить позади G-DATA,ESET,F-Secure...уж не говоря о McAfee.. :o

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Даже только это - огромный плюс и прорыв

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

А сколько было на АМ?

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

А ты посмотри. ;)

Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Или ты скажешь нет? Что ж тогда ты делал тест на виртуальных машинах?

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Да вообще ни говори... Нафиг AMTSO, давай наших, вот только посмотрим к кому вопросов по методологии возникнет больше ;)

p.s. В репутацию можешь что-нибудь воткнуть очередное несуразное, так свойственное тебе ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Это понятно :)

Но дело в том, что тест всего-то на каких-то 100 сылках проводился более полугода... Я понимаю, что опыта мало и т.д., но тем не менее... Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить ;)).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

В чтении методологии мы не утруждаемся? ;)

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

судя по постам нет, не читают они её, а зря

вот в соседней ветке про близкий по сути тест AV-Test.org http://www.anti-malware.ru/forum/index.php...st=0#entry90694

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v
Таких ссылок появляется и умирает сотнями в сутки..

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

Ах, точно, не учёл.. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
(я так вижу мир - ногами не пинать, может я не прав)

Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

и там будет ваш продукт? а чего его щас нет?

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

а вот можно долго спорить чего правильней

они тестят реально то что юзеру прибегает

а на AM каким-то экспертным образом отобранные сцылки

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

вот не могу проголосовать за тот или иной подход однозначно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
а чего его щас нет?

Я не участвую в регулярном тестировании.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
они тестят реально то что юзеру прибегает

Мы тоже тестировали на том, что прибегает к юзеру.

Не сами же мы писали сплоет тулкит и малварь :D

а на AM каким-то экспертным образом отобранные сцылки

Именно! Отобранные - ключевое слово. Отбирались в соответствии с определенными требованиями. Если отбирать без требований, наобум - результаты будут рандомные. То бишь когда как. А если выборка будет большая - то все-равно в результате первым будет лучший и продукты выстроятся в соответствии с качеством защиты, только процент "защищено" будет чуть менее 100% и будут чуть убывать от продукта к продукту - что мы и видим в таблице. Да и в плюсах будут технологии зависимые от времени - чем больше времени пройдет между появлением некоего хоста с вирусом - тем больше продуктов будут блокировать доступ к такому ресурсу.

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

В соответствии с методикой теста на лечение активного заражения берутся как раз-таки распространенное вирье - просто из всего набора выбираются на наш взгляд самые сложные варианты, а не все подряд. Иначе снова - если брать просто наобум из всего распространенного, то результаты будут совершенно различны из раза в раз. Более того - в силу специфики теста и методики - большую выборку использовать нельзя. Но если это сделать, выбрать сотню малвар, столько же тестеров =)) и провести тест - все-равно лидеры победители будут одни и те же, только процент будет от чуть меньше 100 и где-то до 90% :) То бишь все прекрасно лечат.

То есть, обобщу написанное:

Смотря что мы хотим проверять этими тестами - то, как продукт справляется в самой заурядной ситуации или же хотим проверить технологические возможности продукта на сложных, но, тем не менее, весьма реальных ситуациях.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить wink.gif).

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Верно, это ключевое отличие наших тестов.

Бог с ней с методологией, какая она есть. Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

В анализе трудно удержаться от сравнения. Это всё равно что взять 15 легковых авто и протестировать их способность проехать на скорости 100 км/час по ровной, заасфальтированной дороге расстояние в 1 км. И по результатам такого "теста" вывести некий результат. Этот результат очень будет напоминать то, что мы видим в первом сообщении - "по результатам нашего теста 95% авто отлично справились с дистанцией 1 км по ровному асфальту!"

А на возмущенные крики из толпы, типа: "ну а как же они ездят по ухабам, в непогоду, и тёмное время суток?", демонстративно ответить: "Такой тест авто запланирован в следующем десятилетии!" :P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Ну вот смотрите, сделали тест как хотели вендоры. Специально для этого создали AMTSO, принципы тестирования написали, все красиво, все замечательно. В результате мы имеем то, что имеем - почти все антивирусы, заплатившие за тестирование одинаково хорошие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Что ж ты тогда не делал тест на реальных машинах, а? ;)

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

Ой-ой-ой, молодец, "слив защитан" ;)

Ты можешь позволить себе штат человек в 20 или хотя бы 10-15?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Что ж ты тогда не делал тест на реальных машинах, а? wink.gif

Многократно уже обсуждалось. Повторю вопрос. Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO? Чем конкретно тест на реальных машинах лучше? Не люблю пустозвонов (смайлфагов тоже).

Особенно это очень интересно с учетом общего тренда на VDI, к которому всех поддталкивают гиганты ИТ-индустии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

Складывается впечатление, что всем кроме Рашевского Романа и Сергея Ильина "нас_рать" и на AMTSO, и на этот тест :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×