PC Security Labs: China Region False Positive Test (Январь 2011)

[Сергей Ильин 1538]

Как-то ускользнул из нашего поля зрения достаточно интересный тест от китайских коллег из PC Security Labs на такую злободневную тему, как ложные срабатывания.

Антивирусы в тесте проверялись на ложный срабатывания двух типов: статические (во время сканирования файловой коллекции), динамические (во время установки программ). Как я понял, коллекция составлялась из софта на китайском языке (из разных провинций + Тайвань).

Результаты весьма интересные. Суммарный уровень ложный срабатываний можно посмотреть на этом графике

Подробные результаты теста (включая список программ и файлов на которых были ложные срабатывания с md5) доступны в отчете

http://www.pcsecuritylabs.net/document/rep...est_English.pdf

Также там есть разбивка на динамические и статические ложные срабатывания.

ИМХО тест интересен тем, что показывание уровень фалсивости антивирусов на локальном софте, в данном случае китайском.

[Danilka 678]

ИМХО тест вообще не интересен. Так как если вендор не представлен в этом регионе, то и фалсы исправлять некому. А китайцы могут что угодно понаписать из "легального" софта.

[Сергей Ильин 1538]

Китайский софт в данном случае как лакмусовая бумажка. Если вендор проверяет технологии на ложный срабатывания на локальном софте, то результаты по Китаю будут хорошие. Если забивает, ограничиваясь только софтом, за которым просто дотянуться, то там будет все плохо.

Потом ИМХО работает вендор в Китае или нет не имеет значения. Если он там не продается, то это не значит, что можно безбожно фалсить на все китайское

[Danilka 678]

Сергей Ильин

Пример: Имеем вендора "А", который не фолсит на китайском софте. Что это нам дает? Что он не будет фолсить на индийском софте или каком либо другом? Какой в этом интерес для нас?

[Razboynik 105]

Как то сильно большое расхождение этого теста с тестом от AV-comparatives.org (сообщение, где информация по ложным срабатываниям).

Например, прикиньте разницу в этих тестах по Avira. Ну, и по другим антивирусам тоже.

[Сергей Ильин 1538]

Как то сильно большое расхождение этого теста с тестом от AV-comparatives.org

Вот как раз это расхождение и представляет наибольший интерес. Получается, что та же Авира безбожно фалсит на китайский софт. Не лучшим образом себя показали здесь Symantec и McAfee. А вот Trend Micro наоборот в порядке, близок он к китайцам исторически.

Но напрямую нельзя сравнивать эти 2 теста. Ребята из PC Security Labs проверяли и динамические ложные срабатывание тоже, чего, естественно, не делают в AV-comparatives. Так что в это плане методология у них более продвинутая.

[OlegAndr 236]

У PCSL методология теста очень интересная, они используют данные о распространенности, динамически запускают вредоносы и т.д. в тестах на детект.

Надо сказать что китайский рынок и китайский софт какая то катастрофически другая реальность, которую тяжело понять. А учитывая что там правит бал халява, то и усилий не него тратить вендоры не много будут.

[Danilka 678]

У PCSL методология теста очень интересная, они используют данные о распространенности, динамически запускают вредоносы и т.д. в тестах на детект.

Надо сказать что китайский рынок и китайский софт какая то катастрофически другая реальность, которую тяжело понять. А учитывая что там правит бал халява, то и усилий не него тратить вендоры не много будут.

Вот я о том и говорю... Что до того, что ТАМ в Китае ложняки на их софт..

[Юрий Паршин 330]

Китайский софт в данном случае как лакмусовая бумажка. Если вендор проверяет технологии на ложный срабатывания на локальном софте, то результаты по Китаю будут хорошие. Если забивает, ограничиваясь только софтом, за которым просто дотянуться, то там будет все плохо.

Отнюдь нет. Часто грань между понятиями "легальная китайская тулза" и "малвара" слишком тонка.

[OlegSych 40]

А я думаю, что Китайский тест должен быть как альтернатива европейским. Поясню.

Каково отношение антивирусных вендоров (европейских, американских) к ложнякам на китайский софт и к этому софту в целом? Насколько я вижу - довольно прохладное. Да и разгребать этот хлам крайне сложно: непонятно по управлению при анализе (если это какой то фейк), сложности со средой для размножения (всё таки сильно отличается от требований для "Европейского" малваре), да и просто такое количество его валит, что пойди разберись что там что.

А между тем, как бы не ругали Китайцев, и как бы не был их рынок падок на халяву, а всё таки это рынок (пусть даже в потенциале). А учитывая, насколько больше с каждым годом Китай доминирует как сверхдержава…

Ну, в общем, к чему это я? Да, тест другой, порой странный, софт на котором тестировалось тоже какой то весь для нас непривычный и незнакомый. Но это всё только потому, что вендоры уже подстроились под привычные европейские тесты, притёрлись, изучили повадки и методологии. А тут (у Китайцев) всё совсем иначе, всё непонятно. Всё надо делать сначала.

Ну и, конечно же, реакция на тест была бы совсем иной, если бы были другие результаты.

[OlegAndr 236]

Надо сказать что с вендорами PCSL работает, и нам результаты присылали, аналогично и в тестах не детект. Как будут новые результаты я размещу -)

[ak_ 395]

ИМХО тест вообще не интересен. Так как если вендор не представлен в этом регионе, то и фалсы исправлять некому. А китайцы могут что угодно понаписать из "легального" софта.

Вот тут я абсолютно согласен с Danilka. Мне, как пользователю Avira с многолетним стажем, более близки и понятны результаты европейских тестов. Я искренне удивляюсь, когда слышу о страшных фолсах Авиры, которые буквально не дают бедным пользователям спокойно сидеть за компьютером. О них я узнаю только из тем на различных форумах. Не знаю, может я не на тех сайтах бываю и не тот софт устанавливаю... И это не смотря на то, что эвристика у меня выставлена всегда по максимуму (как в тесте AV-comparatives.org) и даже включен детект всех видов угроз, включая подозрительные упаковщики и прочее.

И в завершение процитирую Юрия Паршина (уж не сочтите меня фаном ЛК ):

Часто грань между понятиями "легальная китайская тулза" и "малвара" слишком тонка.

Думаю, этим всё сказано.

[deviss 75]

В продолжение мысли: стиль программирования у китайских товарищей (утверждение не мое, а подслушанное в беседе со знакомыми программерами) весьма и весьма своеобразный. Иногда сильно халтурный и грубоватый "лишь бы как-нибудь работало". Оттого и "непонимание" некоторых ведущих антивирисных вендоров таких программ и соответствующая реакция, которая "как бы фолс".

И, думаю, в перспективе (уж в ближайшей точно) сильных изменений в результатах подобных "локальных" тестов ожидать не приходится. Ведь антивирус (актуальный, современный) работает не столько с самой программой, сколько с ее ожидаемым (неожиданным) поведением.

[GRINDERs 35]

Интересное замечание:

BitDefender имеет минимум фолсов как предоставленными тестами от Китайцев так и от AV-comparatives

[Umnik 997]

Он там бесплатно отдается просто.

[Сергей Ильин 1538]

BitDefender имеет минимум фолсов как предоставленными тестами от Китайцев так и от AV-comparatives smile.gif

Он там бесплатно отдается просто.

А какая связь между минимумом фалсов и бесплатностью? Аваст или Авира по всему миру бесплатно отдаются, но у них нет нуля ложных срабатываний.

[Umnik 997]

Сергей Ильин

Представлен в регионе - фолсов минимум.

[Сергей Ильин 1538]

Представлен в регионе - фолсов минимум.

А почему тогда китайские антивирусы не так круты оказались? По логике они должны были там лидировать с показателями близкими к нулю.

Если честно, то меня смущают в этом тесте нули напротив BitDefender и MicroWorld.