Danilka

Тест проактивной антивирусной защиты III (результаты)

В этой теме 84 сообщений

Спасибо за тест, очень надеюсь, что и дальнейшие тесты будут объективными.

Тестирование наконец-то отметило снижение уровня эвристики антивируса Касперского, которое ну никак не хотели признавать.

Надеюсь, ЛК возьмется за улучшение качества своей продукции, особенно корпоративной...

Не ожидал такого хорошего результата у G data.

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Каждый из продуктов занял то место, которое и должен был занять. Претензий нет к результатам и методологии. Спасибо за тестирование.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Подписыватся не забываем, люди ЛК, сотрудик ЛК, КГБ, атаман войска...
Станиславский, ты?

а по теме - много думал по тестам, без комментариев

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Хотелось бы пройтись по комментариям партнеров.

Жутко порадовали Тренды.

...Trend Micro Internet Security 2010, где одной из главных защитных функций является блокирование глобальных источников распространения вредоносных программ и механизмы обратной связи

То есть, я правильно понимаю, что бан доменных имен - это одна из главных функций этого антивируса? Вы ребята мёду объелись?! Это всё, что у вас есть? Зараженные легитимные сайты вы тоже банить будете? Уверены, что большая часть доменов вообще до вас доходит? В курсе, что оно сейчас "мигрирует"? Спасибо, повеселили.

Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Полезное из комментариев (я бы взял на заметку):

1) Мало сэмплов. Однако не забываем сколько трэша в коллекциях Маркса и Энгельса. Этого тут не нужно.

2) Использование динамического тестирования. AMTSO придумали как тестировать поведенческие блокираторы на реальной заразе в автоматическом режиме? И лучше не на VmWare. Гы.

И я так и не узнал про FP из инсталлеров с download.com. В них могут быть адвари.

P.S. Жду еще животрепещущих комментариев от партнеров. Eset, Symantec, ау?!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Danilka, благодарю за оперативное создание темы ;)

Мой комментарий есть в отчете. Хотел бы еще раз отметить, что к большему сожалению никто в этот раз не получил высоких наград. Нет платины (еще ни разу в истории не было), нет и золота. Рубеж 60% взят, но явно за счет фалсов. Создается впечалетние, что аккуратно уже становится просто нереально докручивать эвристику. Один F-Secure чего стоит! Когда увидел его резуальтат сначала, то был крайне удивлен, но проверка на ложные срабатывания все поставила на места.

Настораживает сильное снижение проактивного детекта у Eset и Dr.Web. Причины явления не ясны.

e3_5.png

Очень интересная картина по общему детекту с обновленными базами.

e3_61.png

Можно поздравить Trend Micro и Agnitum с резким улучшением результата!

Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

P.S. Большое спасибо Грише за непосредственное проведение теста. Несмотря на его кажущуюся простоту, тест коварный с множеством подводный камней. Также благодарю всех, кто принимал участие в подготовительном обсуждении теста и выборе продуктов для тестирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Максим из Агнитум порадовал меня еще больше. Виталий, объясни плз человеку, что он совсем не в теме. Сигнатуры сдохли! То, что вы пропустили сегодня, уже бесполезно детектировать завтра, но если хочется получить идиотский значок VB100, тогда всяко необходимо добавить всю эту мертвечину в базы.

Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели. Ну не предназначен антивирус для простаивания без апдейтов. Поэтому ничего иного, кроме как ткнуть фразой "да ну эту вашу эвристику", не захотелось. On-access у нас много еще чего наловит бессигнатурно и поможет почистить, а смысл тогда в этом тесте с невнятным кол-вом сэмплов? Так, поразоряться на этот счет.

Про VB100 - речь шла о RAP-тесте с 12000 новых сэмплов на каждую из 4 недель, лишь 1 из которых "проактивная". Там значка не дают, только процент, а помещают продукт на диаграмму "Reactive vs Proactive".

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Знаешь, горизонт разумности эвристического детектирования наших движков - не 6 недель, а 1-2 недели.

Хорошо будет если эвристика хотя бы день-два проработает. Не работает оно 1-2 недели, не надо.

В любом случае гнать про сигнатуры - это глупо в высшей степени и нелепая отмаза. Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже :)

PS: Слава, тальк "Никсон" настолько хорош, что его даже крадут? ;)

Щито?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Откуда пафос такой? (Народ, кнопка "жалоба" на первые 2 поста не работает).

PS: Итоговая VB100-шная RAP-диаграмма по Agnitum верна только для правой точки. Левая - "левая" :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Наибольшее ухудшение общего уровня обнаружения отмечено у продуктов Norton, Eset и F-Secure (за счет смены у F-Secure лицензируемого антивирусного движка).

Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Говорить про количество сэмплов вдвойне глупо. Если у вас на таком кол-ве такой результат, то на 12.000 будет еще хуже :)

Щито? На 12.000 в неделю он - лучше ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Стоило указать это как предположение. Может там другая причина? Ну, например что-то сломали в логике и часть событий просто пролетают мимо продукта.

В прошлом тесте они были на уровне каспера по общему детекту, а сейчас круто упали. Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Щито? На 12.000 в неделю он - лучше ;)

Это тебе кажется :) Да и не доверяю я организаторам VB100, руки у них кривые, неизвестно какие там сэмплы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Да и еще один факт, который не попал в отчет. Мы с Гришей специально проверили как изменится общий детект если подключить интернет, т.е. включить в работу те самые облака. Что мы получили? Мы получили копеечный прирост, буквально с десяток самплов и все. Даже неинтересно было отражать это в отчете.

Всегда считал, что "облака", мягко выражаясь, фуфло, пиар. Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Да ещё если учесть, что у массы пользователей нет и-нета или скорость 56-128 кбит/сек...

Ну тут как раз не так важно, подсасывает антивирус не много, проводили тут ранее на форуме данные. Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин

Да она и не особо нужна в наших реалиях. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Может что-то сломали, но в любому случае изменения результатов связано со сменой движка и его последствиями.

Дык эвристик BitDefender показал лучший результат чем Касперский, где логика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин, управляющий партнер Anti-Malware.ru:

...Во-первых, вендоры массово занялись «облачными» и поведенческими технологиями, сделав ставку на связанную с ними быстроту обеспечение детекта. Этот подход, с моей точки зрения, является действительно более перспективным в силу целого ряда причин, поэтому в ближайшие годы нас ожидает некоторая эволюция самого понятия проактивности».

Ох, пожалуй надо переезжать тогда, ммм, в Японию:) Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ибо эти самые облака в моих настоящих условиях будут летать у меня медленно-медленно и рывками:)

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно. Оффтоп, но почитайте обзор Trend Micro OfficeScan 10, там достаточно подробно расписано как это работает на живом корпоративном продукте. А с персональными вообще париться по поводу загрузки канала не стоит. Вам классический антивирус качает апдейты мегабайтами и так ;)

Могу добавить, что пока тесты показывают, что облачный детект (именно о детекте говорю) не работает так, как этого ожидают. Нужно менять очень многое, чтобы это заработало на полную, а это годы вложений в инфраструктуру, разработку технологий хранения и обработки накопленных данных + нужно менять конечные продукты тоже. С последним самая запарка, так как даже по комментариям в этой теме видно, что клиенты мягко говоря не готовы. Тот же Trend Micro не отказывается от сигнатур, они продолжают и будут продолжать таскаться с самими продуктами, но базы делаются более компактными и это уже факт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Но вот что реально для юзера прирост небольшой на сравнительно свежей коллекции, вот это удивляет со знаком минус. Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

Насколько я знаю, например, для Norton использование сканирования по требованию для некоторых типов облачных детектов бессмысленно.

Эти детекты срабатывают только on-access на новые файлы.

Антивирусы становятся разными и даже тестеры не знают, что и как тестировать. ;)

Время тестирования отдельных компонентов уже прошло.

Технического смысла нет.

Нужны только комплексные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Получается, что облака пока используются для накачки классического детекта

Не детектом единым - облако еще фалсы правит :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Получается, что облака пока используются для накачки классического детекта, а полноценной репутационной защиты в режиме онлайн пока нет.

естесственно, а кто-то ожидал иного? :)

изменения результатов связано со сменой движка

они его поменяли? на что?

облако еще фалсы правит

кажется, пока даже наоборот - плодит

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Неправда ваша. Например, передать md5 на сервер и получить в ответ несколько байт ответа (да или нет) - это не страшно.
а если тупо нет инета? В смысле был - и пропал! Облака нету

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
а если тупо нет инета? В смысле был - и пропал! Облака нету

Сигнатуры никто не отменяет, они есть и будут. Облако нужно для более оперативной реакции.

естесственно, а кто-то ожидал иного? smile.gif

Ну постепенно к этому все равно придут, просто не так быстро видимо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
они его поменяли? на что?

наверно подразумевается смена движка ЛК, на технологии BitDefender, но если посмотреть архив наград, результаты F-Secure до 2010 года, были ещё хуже)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS