Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Илья Рабинович 521]

Илья,если я правильно понял - поддержки Висты и Семерки еще нет?

Уже давно есть. Просто забыл поставить на русской страничке. Сейчас сделаем, спасибо за подсказку!

[Razboynik 105]

Когда тесты проводились другими независимыми тестовыми лабораториями, где Касперский показал очень посредственные результаты, еще тогда хотел написать: поклонникам Каспера - не расстраиваться, скоро будет тест от АМ, там Каспер будет лидером

Вообще, в тестах АМ на лидеров можно не смотреть - всем заранее известно кто у них будет лидером через полгода, год, два года ...

Из методологии теста:

...Для теста выбирались ссылки на сайты, зараженные только новейшими образцами вредоносных программ. Что означает «новейшие»? Это означает, что эти загружаемые по ссылкам образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов, что проверялось через сервис VirusTotal...

...Всего более за несколько месяцев тестирования было отобрано 36 рабочих ссылок на новейшие вредоносные программы, которые и использовались в тесте...

По принципу:

1) Детект у Каспера и Другого - меньше 20% от всех

2) Детект у Каспера и Пятнадцатого - меньше 20% от всех

3) Детект у Каспера и Четвертого - меньше 20% от всех

и т.д.

Сколько таких образцов детектировал Касперский?

В тесте были антивирусы которые не детектировали ни одного?

[Danilka 678]

Razboynik

Что за бред опять? Такое ощущение, что Вы методологию читаете через строчку....

[Vofres 20]

Уже давно есть. Просто забыл поставить на русской страничке. Сейчас сделаем, спасибо за подсказку!

У меня на 7-ку прекрасно встала и работает. Тестю.

Теперь еще мысли по тесту. Об этом полемизировали еще до начала - хочу поднять этот вопрос еще раз на будущее. Я не супер-специалист по безопасности, но мысль следующая:

- для кого все-таки делается этот тест? Для вендоров, спецов по безопасности или все-таки конечных пользователей? Я не знаю у кого как, но у нас в городе, если так всеми любимая домохозяйка придет в магазин купить себе антивирус и увидит 2 коробки - Антивирус Касперского и Kaspersky Internet Security (никакой рекламы, просто пример) догадайтесь с 3 раз - какую коробку в 90% случаев эта домохозяйка купит? Статистика продаж наших (имею в виду свой город) магазинов говорит, что все-таки Антивирус, а не Internet Security.

Может все-таки проводить тесты антивирусов и комплексных средств защиты по-раздельности? Или если голый антивирус, то тестировать его в паре с выбранным файерволом? Зачем? Мне почему-то кажется, что зловреду пробить комплексную защиту проще, чем связку антивирус (один производитель)+файервол (другой производитель). Думаю, что не только мне было б интересно узнать - так ли это?

[Little Brother 35]

удалено автором

[Сергей Ильин 1538]

Razboynik, у меня один вопрос. Зачем писать изначально чушь, даже не посмотрев для начала историю наших тестов ...

Препуреждать больше не буду, за провокацию диструктивного флейма накажу.

[Сергей Ильин 1538]

3) Выборка сэмплов совершенно мне непонятна. Рандом. Я бы рекомендовал обращать внимание прежде всего на сплоит-паки, которые быстро обновляются smile.gif И это хорошо для теста. Также я рекомендовал бы обращать внимание на совсем новые уязвимости. Например на те, для которых еще нет патча и они только появились ItW. Это позволит узнать насколько хорошо вендор разработал проактивную защиту (сигнатура выйдет позже и это важно).

Нужно подробнее расписать методологию, возможно откорректировать, ужечточить требования к выбору линков. Здесь многое зависит от источников, тут есть над чем работать, расширять их список.

А теперь получается так, что во время тестирования первых выбранных антивирусных продуктов сигнатуру никто еще не сделал, однако, следующие антивирусы в тесте уже добавили сигнатуру в базу (на сплоит, на урл, на сэмпл и т.д.) и их будут тестировать уже с добавленной сигнатурой. То же самое можно сказать и о сплоит-паках, которые обновляются. Сегодня мы тестировали один сплоит-пак с несколькими выбранными АВ, а завтра уже тот же, но обновленный сплоит-пак, который пробивает все остальные АВ.

Такие риски есть. Я еще думал на эту тему в контексте репутационных технологий, там вообще все очень быстро может происходить. Сейчас репутация файла неизвеста, а через пол часа он уже попадает в черные списки

Можно было бы получить информацию о количестве диалоговых окон для каждого из продуктов, принимавших участие в тестировании ?

Вадим, в отчете Excel есть примечания для случаев, где нужна была реакция пользователя - что-то типа "protected by dialog"

[EUGENE 5]

Странно .

Не в обиду , но на практике Kaspersky , NOD , Avast чаще пропускают .

Я не про одни линки , а , например , еще и флешки .

[Danilka 678]

Ну что за глупости? 2010 линейка ЛК имеет такой функционал, что зловред на флешке просто не запустится когда ее вставляешь, кого он пропускает? autorun.inf который по своему определению безвредный...?

[Ashot 110]

Вообще, в тестах АМ на лидеров можно не смотреть - всем заранее известно кто у них будет лидером через полгода, год, два года

ну а может все-таки у ЛК хороший продукт и поэтому он в тестах всегда где-то сверху? Почему такой вариант исключается? Я в антивирусных движках не силен, а вот в автомобильных кое-что понимаю Так вот ниссановская шестерка (VQ35, VQ30 ну и новенький зверек VQ37) с 1995 по 2008 каждый год в топе была.

[Danilka 678]

Ashot

Эх.. Infiniti G37....

[Arnee 10]

Ну что за глупости? 2010 линейка ЛК имеет такой функционал, что зловред на флешке просто не запустится когда ее вставляешь, кого он пропускает? autorun.inf который по своему определению безвредный...?

Подтвержу - KIS 2010 "спасал" от неизвестной заразы,в том числе с флешек,когда его зеленый "конкурент" тихо спал в трее..

[Skeptic 235]

Прежде всего - спасибо всем трудившимся над тестом.

При отмеченных недостатках теста, первые три места, уверен, не подлежат сомнению - на тот момент это объективно продукты с самыми надежными хипсами.

Хорошо бы в следующем году добавить Online Armor ++ - вот тогда будет настоящая конкуренция за место в тройке.

И еще раз позволю себе высказать пожелание о переносе начала тестирования на декабрь.

[Deja_Vu 366]

Лично мне жалко, что не получилось взять в тест NIS2010 - очень хотелось посмотреть сонар2 в действии ... несомненно результат был-бы гораздо лучше ...

надеюсь тест будет со временем все улучшаться и улучаться

[Zilla 340]

Deja_Vu, жалко и мне.. Да там и не только сонар 2, но и другие фишки очень бы помогли.. возможно результат был бы совсем другой.

[EUGENE 5]

Ну что за глупости? 2010 линейка ЛК имеет такой функционал, что зловред на флешке просто не запустится когда ее вставляешь, кого он пропускает? autorun.inf который по своему определению безвредный...?

Да нет . Просто на практике у друзей , знакомых . Это ближе к полевым , реальным условиям .

Ладно . Играйтесь .

[Danilka 678]

EUGENE

Ну на практике у друзей-знакомых может еще стоять домашняя 6ка или 5ка вообще.... Это не показатель..

[Danilka 678]

N.B. Если пользователю один раз показать кнопку "Запустить как доверенное" он обязательно запустит "кодек" с TDSS.

Кстати да.... Вот этот момент мне тоже интересен..

[Mr. Justice 771]

Господа, вы что тут обсуждаете? На название темы смотрели? Обсуждает только данный тест. Все остальное удаяю.

[Danilka 678]

Mr. Justice

Обсуждаем каким образом запускался Packed.Win32.TDSS.z при тестирование победителя- как доверенное или просто запуск?

P.S. А остальной флуд- можно снести.

[zzkk 130]

Уважаемые тесторазрабатыватели и тестоисполнители. К сожалению, не могу выразить Вам свою благодарность за этот последний тест.

Я, как пользователь OSS, хотел бы получить принципиальную информацию об эффективности защиты OSS против предложенной выборки вредоносных ссылок (т. е. хотел бы знать, есть ли у продукта необходимый набор методов защиты или его просто не задействовали).

На деле, формализм методики победил здравый смысл - OSS тестировался в обучающем режиме. А раз так, то я, как пользователь OSS, не получил принципиальной информации.

Можно провести аналогию с тестированием, скажем, мебели. Закупаем, например, диваны у разных производителей и тестируем их бытовую удобность и практичность. Но вот незадача - от одних производителей мы получили полностью собранный диван, а от других кучу досок, распиханных по коробкам.... Понимаете к чему я клоню?

Помнится когда-то, matousec.com имел точно такой же формальный подход, но потом они одумались, и начали тестировать продукты в режиме максимальной защиты, ибо только такой режим может реально показать потенциальному и реальному клиенту того или иного защитного софта, реальный уровень возможностей конкретного ПО.

Считаю, что, с одной стороны, Вы не должны путать формальными результатами (не то, что продвинутых, а просто НЕленивых) пользователей, и с другой стороны, заботиться о "домохозяйках". Еще Ленин говорил, что человек должен учиться, учиться и еще раз учиться. Если кто-то хочет обеспечить свою безопасность не прикладывая к этому никаких усилий, то будет справедливо, если он получит соответствующий результат. Не вижу никакого смысла идти против таких пословиц, как: "что посеешь, то и пожнешь" и "без труда не выловишь и рыбки из пруда".

Надеюсь на безэмоциональную адекватную реакцию на мои слова.

[zzkk 130]

Плюс к аналогии с диванами, хочу привести еще одну аналогию с покупкой, скажем, мобильного телефона (а на самом деле, любого товара).

Когда человек выбирает себе модель телефона, в первую очередь его интересует наличие/отсутствие необходимых ему функций. Мне, как покупателю защитного ПО, точно также хотелось бы знать, какими "функциями" располагает конкретное ПО (как заявленными, так и эффективными).

Но если в мобильнике проверить наличие, скажем, WiFi не составит особого труда, то проверить весь функционал защитного ПО не так просто. И именно в этом и вижу смысл подобных тестов.

[Сергей Ильин 1538]

На деле, формализм методики победил здравый смысл - OSS тестировался в обучающем режиме. А раз так, то я, как пользователь OSS, не получил принципиальной информации.

Как раз наоборот. Победил здравый смысл, а не исследование ради исследования. Если почитаете другие обсуждения в этом разделе форума, то тема настроек обсуждается постоянно. И каждый раз обсуждение приходит к одному и тому же - подавляющее большинство использует настройки по умолчанию.

Тесты делаются чтобы показать реальное положение дел. Простой юзер купил антивирус, поставил его с настройками по умолчанию его и обучает. Другие возможности задействует если только его друг/эксперт/параноик ему скажет об этом.

Я понимаю, что пользователи OSS - не вполне типичные пользователи, но делать тест специально под них мы не можем.

Плюс к аналогии с диванами, хочу привести еще одну аналогию с покупкой, скажем, мобильного телефона (а на самом деле, любого товара).

Пример некорректный. Покупая мобильник вы покупаете себе игрушку по большему счету. Есть там 10 фич (вариантов игры) - хорошо, есть 100 - просто супер! За это вы платите деньги.

С защитой все не так. Вы платите даньги за спокойсвие. Каким образом оно достигается вас может даже не волновать. Тем более не будет волновать кол-во настроек или режимов работы. Все должно работать оптимально out-of-the-box! Об этом должен думать вендор. Если он этого не делает, то он плохо заботится о пользователе или ориентирован на узкий сегмент рынка.

[zzkk 130]

подавляющее большинство использует настройки по умолчанию.

Простой юзер купил антивирус, поставил его с настройками по умолчанию его и обучает.

Ок. Не знал, что большинство. Тогда я Вас понимаю, ибо, естественно, что Вы стараетесь работать на большинство. Другое дело, что большинство не всегда право, но это уже философия...

Но свое мнение выскажу - весьма глупо использовать настройки по-умолчанию, точно также, как глупо покупать смартфон за 25000 только для того, чтобы звонить, точно также, как глупо покупать фотошоп, только для того, чтобы регулировать яркость. И аналогия эта имеет смысл для меня потому, что я не согласен с Вами в том, что:

С защитой все не так. Вы платите даньги за спокойсвие. Каким образом оно достигается вас может даже не волновать.

Не согласен потому, что как пользователь (не OSS, а просто пользователь) защитного ПО, я отношусь к этому ПО точно также, как к любому другому ПО, т. е., условно говоря, как к окну, в котором есть меню с множеством функций, которые я либо сознательно использую, либо сознательно не использую.

Я плачу деньги не за спокойствие, а всего лишь за еще один (один из нескольких, один из многих) иструмент, который предоставляет мне дополнительный набор защитных механизмов (повторяю, не единственный, а всего лишь дополнительный).

А раз так, меня очень даже волнует, справляется ли сей дополнительный набор защитных средств в своей узкой области, которую я ему поручил сознательно, или нет.

Ок. Вроде как, мы друг дуга поняли.

[Motley 30]

Во- первых, возможна ли ситуация, когда продукт показавший хорошие результаты с дефолт- настройками, "проваливается" на максимальных? Скорее всего, это маловероятно . Во- вторых, допустим это произошло и пользователи в курсе дела, но, зачем большинству из них ещё и головная боль в виде необходимости последующей тщательной настройки? Хорошо, если есть друг/брат/сват/ или просто хороший знакомый, который в состоянии сделать это за юзера, в противном случае, никто не обязан достигать в этом деле профессиональных высот, в свободное от основной работы время, да никому и неохота . Поэтому, я согласен с тем, что основную часть этой работы должен выполнить разработчик продукта. А протестить любой продукт на максимальных настройках хороший профи сможет и сам, при желании или просто, в процессе эксплуатации . Главное, чтобы разработчики предусмотрели такую возможность в своих продуктах.