Перейти к содержанию
Иван

AV-Comparatives.org: Whole Product Dynamic Test (декабрь 2009)

Recommended Posts

Иван

случилось чудо

Клементий выкатил динамический тест http://www.av-comparatives.org/images/stor...dynamic2009.pdf

т.е. имитация реальных действий юзера, переходы по заражённым ссылкам

в отличии от стандартных тестов тут проверяется работа абсолютно всех модулей, т.е. кроме стандартных сигнатур с эвристиками учитываются работа хипсов там, поведенческих блокираторов и прочей новомодности.

если то, шо он пишет правда, то ребята стахановцы

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

результаты смотрите ниже, меня удивили очень высокие проценты у всех

прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

avc.png

post-10-1261221711_thumb.png

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
а тут прям все молодцы

Так зачем ребят обижать? ;)

Во всех тестах, что Клементи, что Маркс - всегда у всех в любом тесте результаты за 90%.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
xyz
случилось чудо

16 реальных машин с реальными айпишниками, одновременный запуск ссылок на машинах с разными продуктам, 12 часов работы 4 человек 10 дней

правда пока после выбраковки нерабочих и откидывания одинаковых зловредов всего 100 ссылок они отработали и включили в тест

Даже только это - огромный плюс и прорыв по сравнению с местным "конкурсом".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Arnee

Впечатлило и порадовало...

А Microsoft ,похоже,значительные ресурсы вложил в свой продукт...Особенно если учесть,что это бесплатная версия.

Оставить позади G-DATA,ESET,F-Secure...уж не говоря о McAfee.. :o

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
прежние попытки динамических тестов насколько помню сильно пригибали результаты к земле по сравнению со стандартными тестами на сканирование по требованию. а тут прям все молодцы

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Даже только это - огромный плюс и прорыв

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
100 ссылок это как капля в море, и очень специфично, достаточно что б была другая подборка, как и результаты могут быть совсем другими..

А сколько было на АМ?

Потрудитесь ответить за свой базар. И рассказать в чем состоит суть прорыва, желательно привести реальные технические аргументы по сути данного теста, а не блаблабла про "виртуалки это плохо".

Не буду спорить, реальные машины и одновременный запуск - это очень хорошо, потому как точнее и еще ближе к реалиям, но прорыва тут, извините, я не вижу.

А ты посмотри. ;)

Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Или ты скажешь нет? Что ж тогда ты делал тест на виртуальных машинах?

Да, как-то правда вывод из этого теста можно сделать один - все молодны, кроме двух "мальчиков для битья" в лице Нормана и Кингсофта :) Это те самые принципы тестирования от AMTSO в действии? ;)

Да вообще ни говори... Нафиг AMTSO, давай наших, вот только посмотрим к кому вопросов по методологии возникнет больше ;)

p.s. В репутацию можешь что-нибудь воткнуть очередное несуразное, так свойственное тебе ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla

Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Рашевский Роман, 36, я этот тест вообще в расчёт не беру. Хотя тут понять можно, набрать те же рабочие 36 ссылок, да ещё и провести это в виде динамического теста очень тяжело, но блин, разве эти 36 ссылок могут дать общую картину? Таких ссылок появляется и умирает сотнями в сутки.. Я понимаю что это намного лучше тестов со старой методикой, но им верить ещё рано, слишком мало опыта, слишком мал контент..

Это понятно :)

Но дело в том, что тест всего-то на каких-то 100 сылках проводился более полугода... Я понимаю, что опыта мало и т.д., но тем не менее... Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить ;)).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Ценность такого теста весьма сомнительна. Просто тупо отобрано 100 ссылок на зараженные сайты, по всей видимости - не первой свежести. Получился скорее тест сигнатурного детекта, что в настоящее время не так уж и впечатляет. Спрашивается - ради чего мучилась бригада тестеров? :P

В чтении методологии мы не утруждаемся? ;)

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

судя по постам нет, не читают они её, а зря

вот в соседней ветке про близкий по сути тест AV-Test.org http://www.anti-malware.ru/forum/index.php...st=0#entry90694

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v
Таких ссылок появляется и умирает сотнями в сутки..

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Zilla
не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

Ах, точно, не учёл.. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
(я так вижу мир - ногами не пинать, может я не прав)

Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Прав. Андреас сказал мне, что этот тест не основной динамический, а "бонусный" к тем участникам, которые гонялись в традиционных тестах. В общем, это пробный динамический тест. Основной будет уже в следующем году.

и там будет ваш продукт? а чего его щас нет?

не-не. ссылка ссылке рознь. на АМ брался зиродей - т.е ссылки, за которыми стоят хакеры, рассчитывающие не на абы какой пробив, а на максимально возможный. тест на самом деле сложный был. тут попроще.

так что на АМ и тут тестировалось немного разное - на АМ - зеродей, а тут - просто куча, что попалось.

(я так вижу мир - ногами не пинать, может я не прав)

а вот можно долго спорить чего правильней

они тестят реально то что юзеру прибегает

а на AM каким-то экспертным образом отобранные сцылки

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

вот не могу проголосовать за тот или иной подход однозначно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
а чего его щас нет?

Я не участвую в регулярном тестировании.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
они тестят реально то что юзеру прибегает

Мы тоже тестировали на том, что прибегает к юзеру.

Не сами же мы писали сплоет тулкит и малварь :D

а на AM каким-то экспертным образом отобранные сцылки

Именно! Отобранные - ключевое слово. Отбирались в соответствии с определенными требованиями. Если отбирать без требований, наобум - результаты будут рандомные. То бишь когда как. А если выборка будет большая - то все-равно в результате первым будет лучший и продукты выстроятся в соответствии с качеством защиты, только процент "защищено" будет чуть менее 100% и будут чуть убывать от продукта к продукту - что мы и видим в таблице. Да и в плюсах будут технологии зависимые от времени - чем больше времени пройдет между появлением некоего хоста с вирусом - тем больше продуктов будут блокировать доступ к такому ресурсу.

тут та же фигня что с тестом на лечение, можно брать распространённое вирьё, которое с большой вероятностью поимеет простого юзера

а можно брать реально сложных руткитов, которых может и встретить-то в живой природе трудноватенько

В соответствии с методикой теста на лечение активного заражения берутся как раз-таки распространенное вирье - просто из всего набора выбираются на наш взгляд самые сложные варианты, а не все подряд. Иначе снова - если брать просто наобум из всего распространенного, то результаты будут совершенно различны из раза в раз. Более того - в силу специфики теста и методики - большую выборку использовать нельзя. Но если это сделать, выбрать сотню малвар, столько же тестеров =)) и провести тест - все-равно лидеры победители будут одни и те же, только процент будет от чуть меньше 100 и где-то до 90% :) То бишь все прекрасно лечат.

То есть, обобщу написанное:

Смотря что мы хотим проверять этими тестами - то, как продукт справляется в самой заурядной ситуации или же хотим проверить технологические возможности продукта на сложных, но, тем не менее, весьма реальных ситуациях.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Прорыв есть хотя бы в том, что использовалась методология AMTSO, а она достаточно сложна в реализации.

Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Тут есть два выхода - или мало ссылок или большой штат, а большой штат независимые лаборатории позволить себе не могут (можете у Ильи Шабанова спросить wink.gif).

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

В местном тесте брались свежие ссылки, а там видимо взяли просто 100 ссылок, отсеяли битые и дубли.

Верно, это ключевое отличие наших тестов.

Бог с ней с методологией, какая она есть. Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Я все же хотел бы обсудить результаты. Что нам говорит анализ результатов этого теста?

В анализе трудно удержаться от сравнения. Это всё равно что взять 15 легковых авто и протестировать их способность проехать на скорости 100 км/час по ровной, заасфальтированной дороге расстояние в 1 км. И по результатам такого "теста" вывести некий результат. Этот результат очень будет напоминать то, что мы видим в первом сообщении - "по результатам нашего теста 95% авто отлично справились с дистанцией 1 км по ровному асфальту!"

А на возмущенные крики из толпы, типа: "ну а как же они ездят по ухабам, в непогоду, и тёмное время суток?", демонстративно ответить: "Такой тест авто запланирован в следующем десятилетии!" :P

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Ну вот смотрите, сделали тест как хотели вендоры. Специально для этого создали AMTSO, принципы тестирования написали, все красиво, все замечательно. В результате мы имеем то, что имеем - почти все антивирусы, заплатившие за тестирование одинаково хорошие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рашевский Роман
Офигеть! Это "прорыв" ради "прорыва"? Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO. Всем будет очень интересно, правда.

Что ж ты тогда не делал тест на реальных машинах, а? ;)

Обычное пустословие. Откуда ты знаешь кто и что может себе позволить?

Ой-ой-ой, молодец, "слив защитан" ;)

Ты можешь позволить себе штат человек в 20 или хотя бы 10-15?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Что ж ты тогда не делал тест на реальных машинах, а? wink.gif

Многократно уже обсуждалось. Повторю вопрос. Потрудитесь рассказать все таки, в чем состоит прорывность методология AMTSO? Чем конкретно тест на реальных машинах лучше? Не люблю пустозвонов (смайлфагов тоже).

Особенно это очень интересно с учетом общего тренда на VDI, к которому всех поддталкивают гиганты ИТ-индустии.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

Складывается впечатление, что всем кроме Рашевского Романа и Сергея Ильина "нас_рать" и на AMTSO, и на этот тест :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Dima2_90
      На мой взгляд то, что Process Hacker выгружает антивирусы - явление нормальное, потому что Process Hacker - легитимная программа (по мнению некоторых вендоров -  потенциально опасная), а не троянская, и  команду на выгрузку антивируса даёт сам пользователь ( выбрав процесс в списке и нажимая "Terminate"), то есть это действие (завершение процесса, отвечающего за работу антивируса) санкционировано самим пользователем.
    • rownong
      Здравствуйте. Есть следующая инфраструктура (VPS куплены у хостинг-провайдера).  VPS сервер 1.
      На нем:
      - Несколько баз данных MySQL 
      - Папки (с сайтами, веб-приложениями, скриптами)
      - Установленные программы
      > Панель управления Vesta
      > MySQL-сервер
      > PhpMyAdmin
      > FTP-сервер
      - Задачи крона VPS сервер 2.
      На нем:
      - Asterisk (с конфигурациями) В перспективе VPS сервер 3.
      На нем будет располагаться ERP организации (база данных, бекенд Laravel, фронтенд Vue.js).  Нужно обеспечить безопасность данной IT инфраструктуры, закрыть максимум уязвимостей.
      Чтобы злоумышленники не могли, просмотреть / украсть: пароли в конфигах PHP скриптов, данные БД Таблиц MySQL, не имели доступ к  Asterisk, данным ERP, защита от sql инъекций, DDoS-атак и т.д. Вопросы: 1. В представленной инфраструктуре, каких технические специалисты должны делать аудит ? PHP-программист, системный администратор, или есть отдельные специалисты которые занимаются безопастностью в IT? 2. Я правильно понимаю, что выполнение задачи будет разбито на 2 этапа:
      - аудит (когда будут выписаны замечания)
      - реализация мер по устранению замечаний
      ?? 3. Как выбрать аудиторов?
      Достаточно фрилансеров или нужно обращаться в организацию? 4. Как определить компетенции аудиторов в обеспечении безопасности в IT? 5. Имеет смысл  нанимать сразу 2-х аудиторов?
      Потом реализовывать замечания обоих аудитов? 6. В какой формате проводятся аудиты по безопасности?
      Нужно будет прислать специалистам доступы ко всем системам? 7. Целесообразно делать аудит VPS без аудита офисного железа (компьютеры, роутеры, файловый сервак)?
      Теоретически на компьютерах могут быть уязвимости к вирусам которые доступы крадут от VPS, но проверять еще компы всей организации, сильно увеличит время на аудит.  
    • Draft
      К Сереге лысому, моему другу, приходят и жалуются, мол разводят их как лохов
    • Quincy
      К тебе именно приходит и на сайт жалуется?)))) 
    • PR55.RP55
      https://github.com/dragokas/hijackthis/blob/devel/src/_ChangeLog_ru.txt Стоит прочесть и найти полезное. Типа: Добавлена зачистка зависимостей легитимных служб от удаляемой службы.
      Добавлен запрет программе на перезагрузку серверных ОС с запросом к пользователю сделать это вручную.
      Добавлена проверка типа виртуализации ключей реестра.
×