AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Иван

AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009)

Recommended Posts

Иван

случилось чудо

Клементий выкатил динамический тест http://www.av-comparatives.org/images/stor...dynamic2009.pdf

т.е. имитация реальных действий юзера, переходы по заражённым ссылкам

в отличии от стандартных тестов тут проверяется работа абсолютно всех модулей, т.е. кроме стандартных сигнатур с эвристиками учитываются работа хипсов там, поведенческих блокираторов и прочей новомодности.

если то, шо он пишет правда, то ребята стахановцы

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

результаты смотрите ниже, меня удивили очень высокие проценты у всех

прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

avc.png

post-10-1261221711_thumb.png

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
а тут прям все молодцы

Так зачем ребят обижать? ;)

Во всех тестах, что Клементи, что Маркс - всегда у всех в любом тесте результаты за 90%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz
случилось чудо

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

Даже только это - огромный плюс и прорыв по сравнению с местным "конкурсом".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee

Впечатлило и порадовало...

А Microsoft ,похоже,значительные ресурсы вложил в свой продукт...Особенно если учесть,что это бесплатная версия.

Оставить позади G-DATA,ESET,F-Secure...уж не говоря о McAfee.. :o

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Даже только это - огромный плюс и прорыв

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

А сколько было на АМ?

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

А ты посмотри. ;)

Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Или ты скажешь нет? Что ж тогда ты делал тест на виртуальных машинах?

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Да вообще ни говори... Нафиг AMTSO, давай наших, вот только посмотрим к кому вопросов по методологии возникнет больше ;)

p.s. В репутацию можешь что-нибудь воткнуть очередное несуразное, так свойственное тебе ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Это понятно :)

Но дело в том, что тест всего-то на каких-то 100 сылках проводился более полугода... Я понимаю, что опыта мало и т.д., но тем не менее... Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить ;)).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

В чтении методологии мы не утруждаемся? ;)

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

судя по постам нет, не читают они её, а зря

вот в соседней ветке про близкий по сути тест AV-Test.org http://www.anti-malware.ru/forum/index.php...st=0#entry90694

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v
Таких ссылок появляется и умирает сотнями в сутки..

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

Ах, точно, не учёл.. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
(я так вижу мир - ногами не пинать, может я не прав)

Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

и там будет ваш продукт? а чего его щас нет?

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

а вот можно долго спорить чего правильней

они тестят реально то что юзеру прибегает

а на AM каким-то экспертным образом отобранные сцылки

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

вот не могу проголосовать за тот или иной подход однозначно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
а чего его щас нет?

Я не участвую в регулярном тестировании.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
они тестят реально то что юзеру прибегает

Мы тоже тестировали на том, что прибегает к юзеру.

Не сами же мы писали сплоет тулкит и малварь :D

а на AM каким-то экспертным образом отобранные сцылки

Именно! Отобранные - ключевое слово. Отбирались в соответствии с определенными требованиями. Если отбирать без требований, наобум - результаты будут рандомные. То бишь когда как. А если выборка будет большая - то все-равно в результате первым будет лучший и продукты выстроятся в соответствии с качеством защиты, только процент "защищено" будет чуть менее 100% и будут чуть убывать от продукта к продукту - что мы и видим в таблице. Да и в плюсах будут технологии зависимые от времени - чем больше времени пройдет между появлением некоего хоста с вирусом - тем больше продуктов будут блокировать доступ к такому ресурсу.

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

В соответствии с методикой теста на лечение активного заражения берутся как раз-таки распространенное вирье - просто из всего набора выбираются на наш взгляд самые сложные варианты, а не все подряд. Иначе снова - если брать просто наобум из всего распространенного, то результаты будут совершенно различны из раза в раз. Более того - в силу специфики теста и методики - большую выборку использовать нельзя. Но если это сделать, выбрать сотню малвар, столько же тестеров =)) и провести тест - все-равно лидеры победители будут одни и те же, только процент будет от чуть меньше 100 и где-то до 90% :) То бишь все прекрасно лечат.

То есть, обобщу написанное:

Смотря что мы хотим проверять этими тестами - то, как продукт справляется в самой заурядной ситуации или же хотим проверить технологические возможности продукта на сложных, но, тем не менее, весьма реальных ситуациях.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить wink.gif).

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Верно, это ключевое отличие наших тестов.

Бог с ней с методологией, какая она есть. Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

В анализе трудно удержаться от сравнения. Это всё равно что взять 15 легковых авто и протестировать их способность проехать на скорости 100 км/час по ровной, заасфальтированной дороге расстояние в 1 км. И по результатам такого "теста" вывести некий результат. Этот результат очень будет напоминать то, что мы видим в первом сообщении - "по результатам нашего теста 95% авто отлично справились с дистанцией 1 км по ровному асфальту!"

А на возмущенные крики из толпы, типа: "ну а как же они ездят по ухабам, в непогоду, и тёмное время суток?", демонстративно ответить: "Такой тест авто запланирован в следующем десятилетии!" :P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Ну вот смотрите, сделали тест как хотели вендоры. Специально для этого создали AMTSO, принципы тестирования написали, все красиво, все замечательно. В результате мы имеем то, что имеем - почти все антивирусы, заплатившие за тестирование одинаково хорошие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Что ж ты тогда не делал тест на реальных машинах, а? ;)

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

Ой-ой-ой, молодец, "слив защитан" ;)

Ты можешь позволить себе штат человек в 20 или хотя бы 10-15?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Что ж ты тогда не делал тест на реальных машинах, а? wink.gif

Многократно уже обсуждалось. Повторю вопрос. Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO? Чем конкретно тест на реальных машинах лучше? Не люблю пустозвонов (смайлфагов тоже).

Особенно это очень интересно с учетом общего тренда на VDI, к которому всех поддталкивают гиганты ИТ-индустии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

Складывается впечатление, что всем кроме Рашевского Романа и Сергея Ильина "нас_рать" и на AMTSO, и на этот тест :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Да есть такой баг, выбор целого диска не предусмотрел.
    • PR55.RP55
      Сейчас попробовал добавить файлы и... E:\ [Error: 0x3 - The system cannot find the path specified. ] т.е. Файл > Добавить в список >  Все исполняемые файлы каталога. или пишет вышеуказанную ошибку или вешается. Это и на Win 7 и на Win 10 и с HDD дисками и с USB Диски нормально открываются т.е. доступны.
    • demkd
      А ничего с этим не сделать старые версии windows проблемные там система сама балуется внедрением потоков при очень низком уровне защиты системных процессов, а эцп вообще ничего не гарантирует когда речь заходит о внедренных потоках, зловред вполне может внедрить поток в системный процесс как с помощью подкинутой в правильное место "легитимной" dll, так и просто создав его, а тот уже в свою очередь внедрить в следующий системный и ищи концы среди вот этого вот всего.
      Все это усугубляется тем что тот же SVCHOST.EXE который был когда запущен может оказаться совсем не системным, хотя путь у него будет правильным как и файл будет иметь валидную эцп и запущен он будет якобы services.exe, в 10ке такое провернуть уже сложнее, а вот 7ке легко, потому урезать лог по принципу "оба файла имеют эцп" никак нельзя.
    • PR55.RP55
      uVS v5.0.6v x64 [http://dsrt.dyndns.org:8888]: Windows 7 Home Basic x64 (NT v6.1 SP1) build 7601 Service Pack 1 [C:\WINDOWS] (!) ПРЕДУПРЕЖДЕНИЕ: Ф зафиксировал внедрение потока C:\WINDOWS\SYSTEM32\SERVICES.EXE [428] внедрил поток [380] в процесс: C:\WINDOWS\SYSTEM32\SVCHOST.EXE [876]   C:\WINDOWS\SYSTEM32\SVCHOST.EXE [1060] внедрил поток [1276] в процесс: C:\WINDOWS\SYSTEM32\SVCHOST.EXE [336] и т.д.  А есть ли смысл выводить в лог десяток - другой аналогичных записей, если все эти файлы  в базе проверенных и у них легальная цифровая?  
    • demkd
      ---------------------------------------------------------
       5.0.6
      ---------------------------------------------------------
       o Добавлено 4 новых ключа автозапуска в список для проверки.

       o Добавлен новый статус "UWP".
         Его получают пакеты приложений универсальной платформы Windows (Universal Windows Platform Apps).

       o Добавлен новый твик #46: Отключить Windows Terminal и очистить реестр.
         Если Windows Terminal активен, в лог выдается предупреждение.
         При обнаружении подозрительных настроек Windows Terminal в конфигурационных файлах, реестре или в каталогах с фрагментами в лог выводится предупреждение.
         Если подозрительная строка найдена в JSON-файле настроек, то в список автозапуска добавляется этот файл с содержимым со статусом "подозрительный".
         В любом случае рекомендуется отключить Windows Terminal, а еще лучше немедленно удалить это из системы.
         Windows Terminal — крайне уязвимый и неоптимизированный кусок кода.

       o Улучшена функция масштабирования удаленного рабочего стола, повышено качество аппаратного апскейла, добавлен параметр "Резкость".
         (Требуется D2D и DX11 на клиентском компьютере)

       o Исправлена старая ошибка в функции отправки ответов серверной части uVS.
         Из-за ошибки в редких случаях могло происходить подвисание серверной и клиентской частей uVS при работе с удаленной системой.

       o Исправлена ошибка в функции завершения серверной части при выходе из удаленной системы.

       o Оптимизирована функция подключения к удаленной системе.

       o Оптимизирована функция сжатия фреймов для DDAL/DDAw режимов: шрифты теперь не теряют яркость, а картинка DDAL практически неотличима от DDA1/DDA2 на глаз, 
         при этом размер сжатого фрейма вырос лишь незначительно.

       o Добавлена x64 версия report_crash.

       o Обновалена функция сбора дампа при падении uVS, функция перенесена в утилиту report_crash, что позволит
         получить максимально точную информацию о произошедшей ошибке.

       o Временно добавлена аппаратная функция обнаружения разрушения списка автозапуска в памяти uVS, что позволит отлавливать сложные в обнаружении ошибки.
         Есть 5 дампов, по которым не удалось выяснить точное место ошибки и эта функция должна помочь найти проблемное место.
         Функция снижает скорость формирования списка на ~5% на современных процессорах.

       o Исправлена ошибка в функции подсчета удаленных ключей реестра.

       o Исправлена ошибка в функции записи параметров при выходе из uVS.

       o Исправлена ошибка разбора JSON-файлов.

       o Исправлена ошибка проверки переменных окружения загруженного пользователя.

       o Из списка доступных для подключения IP-адресов удалены адреса активных VPN.

       
×