Перейти к содержанию
Danilka

Тест проактивной антивирусной защиты III (результаты)

Recommended Posts

amcenter

Спасибо за тест, очень надеюсь, что и дальнейшие тесты будут объективными.

Тестирование наконец-то отметило снижение уровня эвристики антивируса Касперского, которое ну никак не хотели признавать.

Надеюсь, ЛК возьмется за улучшение качества своей продукции, особенно корпоративной...

Не ожидал такого хорошего результата у G data.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Каждый из продуктов занял то место, которое и должен был занять. Претензий нет к результатам и методологии. Спасибо за тестирование.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias
Подписыватся не забываем, люди ЛК, сотрудик ЛК, КГБ, атаман войска...
Станиславский, ты?

а по теме - много думал по тестам, без комментариев

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww

Хотелось бы пройтись по комментариям партнеров.

Жутко порадовали Тренды.

...Trend Micro Internet Security 2010, где одной из главных защитных функций является блокирование глобальных источников распространения вредоносных программ и механизмы обратной связи

То есть, я правильно понимаю, что бан доменных имен - это одна из главных функций этого антивируса? Вы ребята мёду объелись?! Это всё, что у вас есть? Зараженные легитимные сайты вы тоже банить будете? Уверены, что большая часть доменов вообще до вас доходит? В курсе, что оно сейчас "мигрирует"? Спасибо, повеселили.

Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Полезное из комментариев (я бы взял на заметку):

1) Мало сэмплов. Однако не забываем сколько трэша в коллекциях Маркса и Энгельса. Этого тут не нужно.

2) Использование динамического тестирования. AMTSO придумали как тестировать поведенческие блокираторы на реальной заразе в автоматическом режиме? И лучше не на VmWare. Гы.

И я так и не узнал про FP из инсталлеров с download.com. В них могут быть адвари.

P.S. Жду еще животрепещущих комментариев от партнеров. Eset, Symantec, ау?!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Danilka, благодарю за оперативное создание темы ;)

Мой комментарий есть в отчете. Хотел бы еще раз отметить, что к большему сожалению никто в этот раз не получил высоких наград. Нет платины (еще ни разу в истории не было), нет и золота. Рубеж 60% взят, но явно за счет фалсов. Создается впечалетние, что аккуратно уже становится просто нереально докручивать эвристику. Один F-Secure чего стоит! Когда увидел его резуальтат сначала, то был крайне удивлен, но проверка на ложные срабатывания все поставила на места.

Настораживает сильное снижение проактивного детекта у Eset и Dr.Web. Причины явления не ясны.

e3_5.png

Очень интересная картина по общему детекту с обновленными базами.

e3_61.png

Можно поздравить Trend Micro и Agnitum с резким улучшением результата!

Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

P.S. Большое спасибо Грише за непосредственное проведение теста. Несмотря на его кажущуюся простоту, тест коварный с множеством подводный камней. Также благодарю всех, кто принимал участие в подготовительном обсуждении теста и выборе продуктов для тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели. Ну не предназначен антивирус для простаивания без апдейтов. Поэтому ничего иного, кроме как ткнуть фразой "да ну эту вашу эвристику", не захотелось. On-access у нас много еще чего наловит бессигнатурно и поможет почистить, а смысл тогда в этом тесте с невнятным кол-вом сэмплов? Так, поразоряться на этот счет.

Про VB100 - речь шла о RAP-тесте с 12000 новых сэмплов на каждую из 4 недель, лишь 1 из которых "проактивная". Там значка не дают, только процент, а помещают продукт на диаграмму "Reactive vs Proactive".

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели.

Хорошо будет если эвристика хотя бы день-два проработает. Не работает оно 1-2 недели, не надо.

В любом случае гнать про сигнатуры - это глупо в высшей степени и нелепая отмаза. Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже :)

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут? ;)

Щито?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Откуда пафос такой? (Народ, кнопка "жалоба" на первые 2 поста не работает).

PS: Итоговая VB100-шная RAP-диаграмма по Agnitum верна только для правой точки. Левая - "левая" :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Наибольшее ухудшение общего уровня обнаружения отмечено у продуктов Norton, Eset и F-Secure (за счет смены у F-Secure лицензируемого антивирусного движка).

Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже :)

Щито? На 12.000 в неделю он - лучше ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

В прошлом тесте они были на уровне каспера по общему детекту, а сейчас круто упали. Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Щито? На 12.000 в неделю он - лучше ;)

Это тебе кажется :) Да и не доверяю я организаторам VB100, руки у них кривые, неизвестно какие там сэмплы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
anip
Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

Всегда считал, что "облака", мягко выражаясь, фуфло, пиар. Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Ну тут как раз не так важно, подсасывает антивирус не много, проводили тут ранее на форуме данные. Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Сергей Ильин

Да она и не особо нужна в наших реалиях. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Rampant
Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Дык эвристик BitDefender показал лучший результат чем Касперский, где логика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Сергей Ильин, управляющий партнер Anti-Malware.ru:

...Во-первых, вендоры массово занялись «облачными» и поведенческими технологиями, сделав ставку на связанную с ними быстроту обеспечение детекта. Этот подход, с моей точки зрения, является действительно более перспективным в силу целого ряда причин, поэтому в ближайшие годы нас ожидает некоторая эволюция самого понятия проактивности».

Ох, пожалуй надо переезжать тогда, ммм, в Японию:) Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками:)

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно. Оффтоп, но почитайте обзор Trend Micro OfficeScan 10, там достаточно подробно расписано как это работает на живом корпоративном продукте. А с персональными вообще париться по поводу загрузки канала не стоит. Вам классический антивирус качает апдейты мегабайтами и так ;)

Могу добавить, что пока тесты показывают, что облачный детект (именно о детекте говорю) не работает так, как этого ожидают. Нужно менять очень многое, чтобы это заработало на полную, а это годы вложений в инфраструктуру, разработку технологий хранения и обработки накопленных данных + нужно менять конечные продукты тоже. С последним самая запарка, так как даже по комментариям в этой теме видно, что клиенты мягко говоря не готовы. Тот же Trend Micro не отказывается от сигнатур, они продолжают и будут продолжать таскаться с самими продуктами, но базы делаются более компактными и это уже факт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Насколько я знаю, например, для Norton использование сканирования по требованию для некоторых типов облачных детектов бессмысленно.

Эти детекты срабатывают только on-access на новые файлы.

Антивирусы становятся разными и даже тестеры не знают, что и как тестировать. ;)

Время тестирования отдельных компонентов уже прошло.

Технического смысла нет.

Нужны только комплексные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr.Golova
Получается, что облака пока используются для накачки классического детекта

Не детектом единым - облако еще фалсы правит :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

естесственно, а кто-то ожидал иного? :)

изменения результатов связано со сменой движка

они его поменяли? на что?

облако еще фалсы правит

кажется, пока даже наоборот - плодит

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно.
а если тупо нет инета? В смысле был - и пропал! Облака нету

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
а если тупо нет инета? В смысле был - и пропал! Облака нету

Сигнатуры никто не отменяет, они есть и будут. Облако нужно для более оперативной реакции.

естесственно, а кто-то ожидал иного? smile.gif

Ну постепенно к этому все равно придут, просто не так быстро видимо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Rampant
они его поменяли? на что?

наверно подразумевается смена движка ЛК, на технологии BitDefender, но если посмотреть архив наград, результаты F-Secure до 2010 года, были ещё хуже)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×