Тест проактивной антивирусной защиты III (результаты)

[Danilka 678]

Итак результаты тут:

http://www.anti-malware.ru/proactive_test_2010

[amcenter 71]

Спасибо за тест, очень надеюсь, что и дальнейшие тесты будут объективными.

Тестирование наконец-то отметило снижение уровня эвристики антивируса Касперского, которое ну никак не хотели признавать.

Надеюсь, ЛК возьмется за улучшение качества своей продукции, особенно корпоративной...

Не ожидал такого хорошего результата у G data.

[Danilka 678]

Каждый из продуктов занял то место, которое и должен был занять. Претензий нет к результатам и методологии. Спасибо за тестирование.

[Lias 5]

Подписыватся не забываем, люди ЛК, сотрудик ЛК, КГБ, атаман войска...

Станиславский, ты?

а по теме - много думал по тестам, без комментариев

[sww 486]

Хотелось бы пройтись по комментариям партнеров.

Жутко порадовали Тренды.

...Trend Micro Internet Security 2010, где одной из главных защитных функций является блокирование глобальных источников распространения вредоносных программ и механизмы обратной связи

То есть, я правильно понимаю, что бан доменных имен - это одна из главных функций этого антивируса? Вы ребята мёду объелись?! Это всё, что у вас есть? Зараженные легитимные сайты вы тоже банить будете? Уверены, что большая часть доменов вообще до вас доходит? В курсе, что оно сейчас "мигрирует"? Спасибо, повеселили.

Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Полезное из комментариев (я бы взял на заметку):

1) Мало сэмплов. Однако не забываем сколько трэша в коллекциях Маркса и Энгельса. Этого тут не нужно.

2) Использование динамического тестирования. AMTSO придумали как тестировать поведенческие блокираторы на реальной заразе в автоматическом режиме? И лучше не на VmWare. Гы.

И я так и не узнал про FP из инсталлеров с download.com. В них могут быть адвари.

P.S. Жду еще животрепещущих комментариев от партнеров. Eset, Symantec, ау?!

[Сергей Ильин 1538]

Danilka, благодарю за оперативное создание темы

Мой комментарий есть в отчете. Хотел бы еще раз отметить, что к большему сожалению никто в этот раз не получил высоких наград. Нет платины (еще ни разу в истории не было), нет и золота. Рубеж 60% взят, но явно за счет фалсов. Создается впечалетние, что аккуратно уже становится просто нереально докручивать эвристику. Один F-Secure чего стоит! Когда увидел его резуальтат сначала, то был крайне удивлен, но проверка на ложные срабатывания все поставила на места.

Настораживает сильное снижение проактивного детекта у Eset и Dr.Web. Причины явления не ясны.

Очень интересная картина по общему детекту с обновленными базами.

Можно поздравить Trend Micro и Agnitum с резким улучшением результата!

Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

P.S. Большое спасибо Грише за непосредственное проведение теста. Несмотря на его кажущуюся простоту, тест коварный с множеством подводный камней. Также благодарю всех, кто принимал участие в подготовительном обсуждении теста и выборе продуктов для тестирования.

[Виталий Я. 859]

Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели. Ну не предназначен антивирус для простаивания без апдейтов. Поэтому ничего иного, кроме как ткнуть фразой "да ну эту вашу эвристику", не захотелось. On-access у нас много еще чего наловит бессигнатурно и поможет почистить, а смысл тогда в этом тесте с невнятным кол-вом сэмплов? Так, поразоряться на этот счет.

Про VB100 - речь шла о RAP-тесте с 12000 новых сэмплов на каждую из 4 недель, лишь 1 из которых "проактивная". Там значка не дают, только процент, а помещают продукт на диаграмму "Reactive vs Proactive".

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут?

[sww 486]

Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели.

Хорошо будет если эвристика хотя бы день-два проработает. Не работает оно 1-2 недели, не надо.

В любом случае гнать про сигнатуры - это глупо в высшей степени и нелепая отмаза. Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут?

Щито?

[Виталий Я. 859]

Откуда пафос такой? (Народ, кнопка "жалоба" на первые 2 поста не работает).

PS: Итоговая VB100-шная RAP-диаграмма по Agnitum верна только для правой точки. Левая - "левая"

[Umnik 997]

Наибольшее ухудшение общего уровня обнаружения отмечено у продуктов Norton, Eset и F-Secure (за счет смены у F-Secure лицензируемого антивирусного движка).

Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

[Виталий Я. 859]

Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже

Щито? На 12.000 в неделю он - лучше

[Сергей Ильин 1538]

Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

В прошлом тесте они были на уровне каспера по общему детекту, а сейчас круто упали. Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

[sww 486]

Щито? На 12.000 в неделю он - лучше

Это тебе кажется Да и не доверяю я организаторам VB100, руки у них кривые, неизвестно какие там сэмплы.

[anip 50]

Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

Всегда считал, что "облака", мягко выражаясь, фуфло, пиар. Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

[Сергей Ильин 1538]

Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Ну тут как раз не так важно, подсасывает антивирус не много, проводили тут ранее на форуме данные. Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

[Danilka 678]

Сергей Ильин

Да она и не особо нужна в наших реалиях.

[Rampant 220]

Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Дык эвристик BitDefender показал лучший результат чем Касперский, где логика?

[UIT 103]

Сергей Ильин, управляющий партнер Anti-Malware.ru:

...Во-первых, вендоры массово занялись «облачными» и поведенческими технологиями, сделав ставку на связанную с ними быстроту обеспечение детекта. Этот подход, с моей точки зрения, является действительно более перспективным в силу целого ряда причин, поэтому в ближайшие годы нас ожидает некоторая эволюция самого понятия проактивности».

Ох, пожалуй надо переезжать тогда, ммм, в Японию Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками

[Сергей Ильин 1538]

Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно. Оффтоп, но почитайте обзор Trend Micro OfficeScan 10, там достаточно подробно расписано как это работает на живом корпоративном продукте. А с персональными вообще париться по поводу загрузки канала не стоит. Вам классический антивирус качает апдейты мегабайтами и так

Могу добавить, что пока тесты показывают, что облачный детект (именно о детекте говорю) не работает так, как этого ожидают. Нужно менять очень многое, чтобы это заработало на полную, а это годы вложений в инфраструктуру, разработку технологий хранения и обработки накопленных данных + нужно менять конечные продукты тоже. С последним самая запарка, так как даже по комментариям в этой теме видно, что клиенты мягко говоря не готовы. Тот же Trend Micro не отказывается от сигнатур, они продолжают и будут продолжать таскаться с самими продуктами, но базы делаются более компактными и это уже факт.

[wert 60]

Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Насколько я знаю, например, для Norton использование сканирования по требованию для некоторых типов облачных детектов бессмысленно.

Эти детекты срабатывают только on-access на новые файлы.

Антивирусы становятся разными и даже тестеры не знают, что и как тестировать.

Время тестирования отдельных компонентов уже прошло.

Технического смысла нет.

Нужны только комплексные тесты.

[Dr.Golova 55]

Получается, что облака пока используются для накачки классического детекта

Не детектом единым - облако еще фалсы правит

[GReY 35]

Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

естесственно, а кто-то ожидал иного?

изменения результатов связано со сменой движка

они его поменяли? на что?

облако еще фалсы правит

кажется, пока даже наоборот - плодит

[Lias 5]

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно.

а если тупо нет инета? В смысле был - и пропал! Облака нету

[Сергей Ильин 1538]

а если тупо нет инета? В смысле был - и пропал! Облака нету

Сигнатуры никто не отменяет, они есть и будут. Облако нужно для более оперативной реакции.

естесственно, а кто-то ожидал иного? smile.gif

Ну постепенно к этому все равно придут, просто не так быстро видимо.

[Rampant 220]

они его поменяли? на что?

наверно подразумевается смена движка ЛК, на технологии BitDefender, но если посмотреть архив наград, результаты F-Secure до 2010 года, были ещё хуже)