Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[strat 275]

в excel отчете ссылки есть, только толку с них, или вы думаете что они еще живы?

[zzkk 130]

в excel отчете ссылки есть, только толку с них, или вы думаете что они еще живы?

Спасибо. Подскажите, пожалуйста, например по ссылке (,,,,) - в какой момент идет заражение и через какой механизм оно осуществляется (java script?)?

[zzkk 130]

Подскажите, пожалуйста, например по ссылке trialan.cn - в какой момент идет заражение и через какой механизм оно осуществляется (java script?)?

Неужели никто не знает?

Или тот же вопрос по любой другой конкретной ссылке...

[strat 275]

Насколько понимаю момент, это тот, когда откроется сайт и отработают все ссылки/загрузки/скрипты/перенаправления либо будет нажата конкретная ссылка, т.е. только от скорости инета + браузера зависит а уж уязвимости наверно разные, и браузерные и сторонних программ типа акробат.

[Deja_Vu 366]

Спасибо. Подскажите, пожалуйста, например по ссылке (,,,,) - в какой момент идет заражение и через какой механизм оно осуществляется (java script?)?

Ну, во-первых, ссылки урезаны, до доменного имени.

Во-вторых, заражение идет с помощью эксплойтов через различные расширения которые были установлены на стенде.

Огромное спасибо за тест! Очень любопытные результаты.

Интересно... насколько бы поменялись результаты, если бы действительно тестировались с максимальными настройками?

Максимальные настройки максимальным рознь

Понимаете ли, вот сделаю я галку в продукте - СУПЕР-МАКСИМАЛЬНАЯ ЗАЩИТА.

И будет эта галка рубить АБСОЛЮТНО ВСЕ.

И в этом тесте у нее будет 100% результат. Зато фолсов у нее по идее тоже будет 100% - что не приемлемо.

Затем, есть тест по фолс-позитивному детекту. И тут как раз раскрывается еще 1 смысл тестирования на настройках по умолчанию.

Вы сможете оценить продукт в одинаковых настройках, что там, что тут. Т.е. настройки по умолчанию - это настройки баланса от производителя.

Ведь если под каждый тест затачивать настройки, то по совокупности тестов мы не сможем сказать, ровным счетом ничего.

Возможно вы захотите предложить проводить все тесты с максимальными настройками. Тогда сразу предвижу крики фанатов и манипуляцию результатами со стороны вендеров:

"У них не была поставлена галочка Brr-tu-tu, поэтому мы не можем считать, что настройки были максимальными" или же

"Галочка Gav-gav была установлено, что означает, что продукт работает в более облегченном режиме"

Другими словами, далеко не у всех продуктов(даже у многих) тяжело будет выставить МАКСИМАЛЬНЫЕ настройки, если это будет вообще возможно.

Это как подстройка гоночного болида - разве там так просто определить - лучше настройки автомобиле перед стартом?

[IN-HOOD 40]

Спасибо за разъяснения. Просто как-то за OSS и Dr.Web обидно )

[zzkk 130]

...через различные расширения которые были установлены на стенде.

Хотелось бы чуть подробнее, если можно.

Возможно вы захотите предложить проводить все тесты с максимальными настройками. Тогда сразу предвижу крики фанатов и манипуляцию результатами со стороны вендеров:

...

Другими словами, далеко не у всех продуктов(даже у многих) тяжело будет выставить МАКСИМАЛЬНЫЕ настройки, если это будет вообще возможно.

Это как подстройка гоночного болида - разве там так просто определить - лучше настройки автомобиле перед стартом?

Безусловно. Если мы говорим об обычном пользователе, который пытается сделать эту настройку. А если это профессионал, разбирающийся в том, что конкретно означает каждая настройка? Разобраться в каждой настройке - высшая цель, к которой может стремиться каждый пользователь конкретного защитного ПО для достижения максимальной эффективности вложенных инвестиций.

[Виталий Я. 859]

В данном тесте всех чесали под одну гребенку "ставим дефолтные настройки", которые озабоченные безопасностью не-мифические пользователи Outpost просто не ставят. Не обращайте внимания на результат OSS - больше 40% вдобавок к 39% были бы получены за счет блокировки загрузки драйверов в ядро и прочей превентивной блокировки.

PS: При учете того, что даже непростой пользователь часто отключает антивирус "чтобы не тормозил", любой тест становится некорректным.

[Рашевский Роман 110]

PS: При учете того, что даже непростой пользователь часто отключает антивирус "чтобы не тормозил", любой тест становится некорректным.

Дак может их вообще не проводить? Или объявить все тесты "не правильными"?

[Valery Ledovskoy 1082]

Цитата(Alexvad @ 06.11.2009, 20:36) *

Подскажите, пожалуйста, как можно «примерить на себя» этот, безусловно, важный и интересный тест, пользователям x64 систем? Учитывая актуальность/не актуальность угроз и отсутствие/наличие некоторых защитных программ для x64.

Вычеркнуть DefenseWall и принимать как есть smile.gif

Эх, если бы было всё так просто. Тестировалась ли установка и успешная отработка сэмплов из теста на 64-битной платформе Windows?

Цитата(zzkk @ 06.11.2009, 17:09) *

Мне показалось, что тесты действительно рассчитаны на истинных "простых" пользователей, т. е. не участников этого форума, а тех домохозяек, которые иногда читают в новостях "последние рейтинги" (и которых, что очень существенно, большинство)

Это очевидно для всех, кто читает данный форум и вообще обсуждения методологии тестирования антивирусов и/или их модулей/технологий.

Для меня это неочевидно. Вот Михаил Орешин в комментарии CNews тоже пишет:

Орешин также отмечает, что в последнее время новости антивирусной индустрии в целом пугают своей тенденциозностью, передергиванием фактов. «Сейчас это носит какой-то лавинообразный характер, - говорит он. - Это касается любых «пузомерок» – будь то тестирование, сравнение, анализ рынка или получение лицензий. За потоком информации не разобраться уже, что правдиво, а что нет. Единственное, что успокаивает, - что эти войны идут, в основном, в рядах поклонников той или иной веры (имеется в виду приверженность к антивирусу), а не в рядах пользователей, которые просто знают, что у них есть антивирус».

(с) http://www.cnews.ru/news/top/index.shtml?2009/11/10/369201

Т.е. очевидно далеко не для всех.

Вопрос к организаторам: а почему продолжают тестировать DrWeb? Они же явно и недвусмысленно просили не тестировать их продукт.

Тем более в тесте с такой методологией.

[Valery Ledovskoy 1082]

А теперь, пожалуйста, ответьте конкретно на конкретно поставленные вопросы по тесту. Возможно, выше они обсуждались, но я свои вопросы собрал вместе.

1. Почему были взяты только сэмплы, загружаемые с вредоносных сайтов, а вредоносные программы, которые прилагаются непосредственно к почтовым сообщениям, были проигнорированы?

2. Недетект вируса на Virustotal большинством антивирусов может означать, что данный тип угроз не достаточно распространён для того, чтобы вендоры посчитали необходимым настроить эвристические технологии на этот тип угроз. Недетект на Virustotal, очевидно, ничего не говорит о времени, прошедшем от начала распространения сэмпла. Почему тогда этот параметр был выбран для определения вхождения сэмплов в понятие zero-day-угроз?

3. Тест явно проигрышный для антивирусных продуктов, которые не включают в себя HIPS. Тем не менее, в нём тестировались продукты без HIPS. Почему?

4. Если были взяты для теста продукты без HIPS, то почему для сравнения не были даны результаты по всем обнаруженным zero-day-угрозам, вне зависимости от того, сколькими антивирусами они детектились на Virustotal? Это позволило бы учесть существование таких сущностей, как эвристические технологии, технологии, расположенные на стыке сигнатурных и несигнатурных технологий, расширенные вирусные записи. Все эти технологии являются частью проактивных технологий. Тест их наличие никак не учитывает.

Спасибо.

[vaber 350]

1. Почему были взяты только сэмплы, загружаемые с вредоносных сайтов, а вредоносные программы, которые прилагаются непосредственно к почтовым сообщениям, были проигнорированы?

Потому, что так было решено в методологии. Так же по аналогии можно задать вопрос, почему не брали малвар, распространяющихся через USB, сетевых червей, использующих уязвимости ОС (kido например), через сетевую шару...

Касаемо приведенной тобой ссылки на вирустотал (где-то в какой-то тут теме), то именно подобные семплы и брались в тест (имею ввиду детект).

2. Недетект вируса на Virustotal большинством антивирусов может означать, что данный тип угроз не достаточно распространён для того, чтобы вендоры посчитали необходимым настроить эвристические технологии на этот тип угроз. Недетект на Virustotal, очевидно, ничего не говорит о времени, прошедшем от начала распространения сэмпла. Почему тогда этот параметр был выбран для определения вхождения сэмплов в понятие zero-day-угроз?

То, что нету эвристического детекта у кого-то вовсе не означает, что троян не распространен.

Тот же Zeus

http://www.virustotal.com/ru/analisis/b3ee...7cdc-1258016750

или же FakeSmoke

http://www.virustotal.com/ru/analisis/8206...82c5-1258024452

Это есть 0-day, и эвристический детект со стороны нескольких av мы решили допустить, т.к. никто не заморачивается его отсутствием у всех - Вирмакам важно отсутствие детекта у определенных антивирусов, что специально оговаривается при покупке и поддержке криптора.

Потому зиродей в данном случае - бинарник малвари, который только начали распространять. Но мы отбирали с наименьшим детектом.

3. Тест явно проигрышный для антивирусных продуктов, которые не включают в себя HIPS. Тем не менее, в нём тестировались продукты без HIPS. Почему?

То есть ты признаешься, что на одном сигнатурном детекте далеко не уедешь? А так оно и есть. Как показали результаты теста - именно песочница дает наилучший результат. Пример - HIPS Рабиновича, Comodo (да и наш ForceField CheckPoint, который правда не участвовал в тестировании). Так же она появилась и в продуктах ЛК и появится в 5-ке Avast. И еще появится у многих других. Хороший результат могут показали те, у кого хорошо поставлен детект эксплоитов, iframe, опасных сайтов. Это ЛК, тренд, Симантек. аваст и др.

4. Если были взяты для теста продукты без HIPS, то почему для сравнения не были даны результаты по всем обнаруженным zero-day-угрозам, вне зависимости от того, сколькими антивирусами они детектились на Virustotal?

Что же ты не предложил это перед тестом? И как ты определишь это старый трой, которого почему-то решили снова распространять или свежий троян, только упакованный, но вот пакер просто никак не почистят.

[Илья Рабинович 521]

То есть ты признаешься, что на одном сигнатурном детекте далеко не уедешь? А так оно и есть. Как показали результаты теста - именно песочница дает наилучший результат. Пример - HIPS Рабиновича, Comodo

У Comodo нет песочницы, это классический HIPS с элементами рекомендательной сети.

[vaber 350]

У Comodo нет песочницы

Там же вроде бы было что-то типа "запуск приложения в ограниченной среде". Помню еще приложения запущенные таким образом в зеленой рамке были...?

[Valery Ledovskoy 1082]

Спасибо за ответы.

Потому, что так было решено в методологии. Так же по аналогии можно задать вопрос, почему не брали малвар, распространяющихся через USB, сетевых червей, использующих уязвимости ОС (kido например), через сетевую шару...

Для вредоносных программ, распространяемых через USB и сетевых червей сложно определить дату начала распространения.

Другое дело - ссылки на вредоносные сайты. Но проще всего определить дату распространения вредоносной программы по почтовым рассылкам с вредоносными аттачами.

Касаемо приведенной тобой ссылки на вирустотал (где-то в какой-то тут теме), то именно подобные семплы и брались в тест (имею ввиду детект).

Ссылку я давал для того, чтобы показать, что в аттачах тоже идут вредоносные программы, которые сгодились бы для тестирования. Они были упущены.

Это есть 0-day, и эвристический детект со стороны нескольких av мы решили допустить, т.к. никто не заморачивается его отсутствием у всех

Значит, детект на Virustotal не говорит ничего даже о степени распространённости данного вида угроз. Но и о начале распространения также ничего не говорит.

То есть ты признаешься, что на одном сигнатурном детекте далеко не уедешь? А так оно и есть. Как показали результаты теста - именно песочница дает наилучший результат. Пример - HIPS Рабиновича, Comodo (да и наш ForceField CheckPoint, который правда не участвовал в тестировании). Так же она появилась и в продуктах ЛК и появится в 5-ке Avast. И еще появится у многих других. Хороший результат могут показали те, у кого хорошо поставлен детект эксплоитов, iframe, опасных сайтов. Это ЛК, тренд, Симантек. аваст и др.

Я не говорю, что HIPS не нужен. Нужен, конечно, и будет. Но фильтр, который был применён в тесте для отбора вредоносных программ, выпячивает возможности HIPS-технологий, искусственно зажимая возможности других типов проактивных технологий.

Что же ты не предложил это перед тестом? smile.gif И как ты определишь это старый трой, которого почему-то решили снова распространять или свежий троян, только вот пакер просто никак не почистят.

По письмам в аттачам это очень легко определить, тут и объяснять ничего не надо.

1. Есть типы троянцев, которые в каждой рассылке новые идут.

2. Есть типы, которые меняются периодически. Как получил новый сэмпл, похожий на предыдущий, который некоторое время распространялся, отсюда и начинай считать.

3. Что касается вредоносных сайтов - если постоянно следить, то тоже часто можно определить начало распространения - по началу рассылок в почте с ссылками на вредоносный сайт, по началу рассылок в аське и т.д. и т.п. Обычно если что-то новое (сообщения) рассылается с ссылкой на вредоносный сайт, то сэмпл там лежит не недельной давности. По крайней мере, мне не встречаются обратные случаи довольно длительное время.

Да, для этого нужен постоянный мониторинг. Но я почему-то эти все возможности могу увидеть самостоятельно, безо всяких тестовых лабораторий.

Что касается точности подобного определения начала распространения - да, оно не идеальное, но и не такое притянутое за уши, как детект на Virustotal.

[Danilka 678]

Там же вроде бы было что-то типа "запуск приложения в ограниченной среде". Помню еще приложения запущенные таким образом в зеленой рамке были...?

Это в KIS.

[Deja_Vu 366]

У Comodo нет песочницы, это классический HIPS с элементами рекомендательной сети.

вы правы COMODO SafeSurf в полном смысле не назвать песочницей.

Но как оно на самом деле работает - думаю могут только разработчики сказать

[vaber 350]

Для вредоносных программ, распространяемых через USB и сетевых червей сложно определить дату начала распространения.

Другое дело - ссылки на вредоносные сайты. Но проще всего определить дату распространения вредоносной программы по почтовым рассылкам с вредоносными аттачами.

Все же наше мнение, что на текущий момент угроза идущая от эксплоитов более актулаьна, не же ли от рассылки малвари по емейлу. На текущий момент она утратила свою былую актуальность.

Более того - глядя на привиденную тобой же ссылку на вирустотал - если бы мы брали такие семплы изпочтовой рассылки - результат бы сильно изменился? (учитывая аналогию в плане детекта тех семплов что были отобраны нами).

Значит, детект на Virustotal не говорит ничего даже о степени распространённости данного вида угроз. Но и о начале распространения также ничего не говорит.

А причем тут детект на Virustotal? Virustotal лишь использовался для того, чтобы определить годен ли сампл для теста - если детект не большой - то отправлялся тестеру, а тот уже как брал его в тест проверял на стенде сам бинарник на детектируемость файловым антивирусом. Касаемо распространенности - ну что я могу сказать . md5 есть - пусть в вирлабе кто у вас сольет с помойки вирустотала семплы да поглядит, что за они и сообщит тебе о их распространенности.

Я могу сказать, что ничего редкого, встречаемого в единичных экземплярах там не было. Была только актуальная угроза.

Я не говорю, что HIPS не нужен. Нужен, конечно, и будет. Но фильтр, который был применён в тесте для отбора вредоносных программ, выпячивает возможности HIPS-технологий, искусственно зажимая возможности других типов проактивных технологий.

Может быть только два варианта подобного теста - брать все подярд или делать как сделано

Да, для этого нужен постоянный мониторинг. Но я почему-то эти все возможности могу увидеть самостоятельно, безо всяких тестовых лабораторий.

Ну и каковы результаты? Много ли самплов, которые почти никто не детектит? И которым из них доктор веб не дал бы установиться в системе, если бы пользователь запустил аттач. Поделись информацией

[Valery Ledovskoy 1082]

Ну и каковы результаты? Много ли самплов, которые почти никто не детектит?

Нет, не так много. Об чём и речь. Тест же как назывался? На противодействие "новым" угрозам, а не тем угрозам, которые не детектятся на Вирустотале.

И которым из них доктор веб не дал бы установиться в системе, если бы пользователь запустил аттач. Поделись информацией wink.gif

Больше, чем получилось в результатах теста.

Более того - глядя на привиденную тобой же ссылку на вирустотал - если бы мы брали такие семплы изпочтовой рассылки - результат бы сильно изменился?

При такой же методологии тестирования - не изменился бы. Просто указал на ещё один недостаток теста - собралась не полная картина.

Все же наше мнение, что на текущий момент угроза идущая от эксплоитов более актулаьна, не же ли от рассылки малвари по емейлу. На текущий момент она утратила свою былую актуальность.

Я бы не стал так категорично говорить. Канал остался, он используется. Достаточно активно, кстати.

[vaber 350]

Нет, не так много. Об чём и речь. Тест же как назывался? На противодействие "новым" угрозам, а не тем угрозам, которые не детектятся на Вирустотале.

В контексте теста "новыми" угрозами считались бинарники, которые отдаются с только появившегося сайта с эксплоитом (или сайта с эксплоитом, который жил уже некоторое время, но где обновился бинарник) и при этом имеющие минимальный детект среди тестируемых антивирусов. Еще раз повторяю - вирустотал использовался, чтобы наскоро глянуть детект (тот кто отбирал линки для теста не имел доступ к виртуальным машинам с тестируемыми продуктами). Перед взятием в тест бинарник все-равно проверялся актуальными антивирусами.

[Valery Ledovskoy 1082]

vaber, всё понятно. Но тест тогда нужно было называть как-то по-другому Противодействие свежим эксплойтам, которые не детектятся большинством антивирусов. Тогда всё становится на места, в общем-то.

[Deja_Vu 366]

vaber, всё понятно. Но тест тогда нужно было называть как-то по-другому Противодействие свежим эксплойтам, которые не детектятся большинством антивирусов. Тогда всё становится на места, в общем-то.

А разве в контексте "защиты пользователя", это не почти одно и то же?

К тому же, далеко не только эксплойтам, ведь HIPSориентированные продукты не противодействовали им

[Valery Ledovskoy 1082]

А разве в контексте "защиты пользователя", это не почти одно и то же? smile.gif

Нет, как я уже сказал выше, класс zero-day-угроз не ограничивается только выбранным для тестирования узким классом угроз.

К тому же, далеко не только эксплойтам, ведь HIPSориентированные продукты не противодействовали им smile.gif

Это не понял. Так чего тестировали-то?

[Deja_Vu 366]

Увидел только, что тестировались HIPS-технологии на антивирусах без HIPS

У многих есть модули детектирующие использование зловредных скриптов или эксплойтов.

Так чего тестировали-то?

А тестировали, кто может защитить бедного юзера, который жмет все подряд, а кто не может

[Valery Ledovskoy 1082]

А тестировали, кто может защитить бедного юзера, который жмет все подряд, а кто не может smile.gif

Как выяснили, не всё подряд, а только определённые кнопки.