Сергей Ильин

PC Security Labs: China Region False Positive Test (Январь 2011)

В этой теме 18 сообщений

Как-то ускользнул из нашего поля зрения достаточно интересный тест от китайских коллег из PC Security Labs на такую злободневную тему, как ложные срабатывания.

Антивирусы в тесте проверялись на ложный срабатывания двух типов: статические (во время сканирования файловой коллекции), динамические (во время установки программ). Как я понял, коллекция составлялась из софта на китайском языке (из разных провинций + Тайвань).

Результаты весьма интересные. Суммарный уровень ложный срабатываний можно посмотреть на этом графике

2011_JAN_Greater_China_Region_False_Positive_Test.PNG

Подробные результаты теста (включая список программ и файлов на которых были ложные срабатывания с md5) доступны в отчете

http://www.pcsecuritylabs.net/document/rep...est_English.pdf

Также там есть разбивка на динамические и статические ложные срабатывания.

ИМХО тест интересен тем, что показывание уровень фалсивости антивирусов на локальном софте, в данном случае китайском.

post-4-1302718217_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ИМХО тест вообще не интересен. Так как если вендор не представлен в этом регионе, то и фалсы исправлять некому. А китайцы могут что угодно понаписать из "легального" софта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Китайский софт в данном случае как лакмусовая бумажка. Если вендор проверяет технологии на ложный срабатывания на локальном софте, то результаты по Китаю будут хорошие. Если забивает, ограничиваясь только софтом, за которым просто дотянуться, то там будет все плохо.

Потом ИМХО работает вендор в Китае или нет не имеет значения. Если он там не продается, то это не значит, что можно безбожно фалсить на все китайское :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин

Пример: Имеем вендора "А", который не фолсит на китайском софте. Что это нам дает? Что он не будет фолсить на индийском софте или каком либо другом? Какой в этом интерес для нас?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Как то сильно большое расхождение этого теста с тестом от AV-comparatives.org (сообщение, где информация по ложным срабатываниям).

Например, прикиньте разницу в этих тестах по Avira. Ну, и по другим антивирусам тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Как то сильно большое расхождение этого теста с тестом от AV-comparatives.org

Вот как раз это расхождение и представляет наибольший интерес. Получается, что та же Авира безбожно фалсит на китайский софт. Не лучшим образом себя показали здесь Symantec и McAfee. А вот Trend Micro наоборот в порядке, близок он к китайцам исторически.

Но напрямую нельзя сравнивать эти 2 теста. Ребята из PC Security Labs проверяли и динамические ложные срабатывание тоже, чего, естественно, не делают в AV-comparatives. Так что в это плане методология у них более продвинутая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У PCSL методология теста очень интересная, они используют данные о распространенности, динамически запускают вредоносы и т.д. в тестах на детект.

Надо сказать что китайский рынок и китайский софт какая то катастрофически другая реальность, которую тяжело понять. А учитывая что там правит бал халява, то и усилий не него тратить вендоры не много будут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
У PCSL методология теста очень интересная, они используют данные о распространенности, динамически запускают вредоносы и т.д. в тестах на детект.

Надо сказать что китайский рынок и китайский софт какая то катастрофически другая реальность, которую тяжело понять. А учитывая что там правит бал халява, то и усилий не него тратить вендоры не много будут.

Вот я о том и говорю... Что до того, что ТАМ в Китае ложняки на их софт..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Китайский софт в данном случае как лакмусовая бумажка. Если вендор проверяет технологии на ложный срабатывания на локальном софте, то результаты по Китаю будут хорошие. Если забивает, ограничиваясь только софтом, за которым просто дотянуться, то там будет все плохо.

Отнюдь нет. Часто грань между понятиями "легальная китайская тулза" и "малвара" слишком тонка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А я думаю, что Китайский тест должен быть как альтернатива европейским. Поясню.

Каково отношение антивирусных вендоров (европейских, американских) к ложнякам на китайский софт и к этому софту в целом? Насколько я вижу - довольно прохладное. Да и разгребать этот хлам крайне сложно: непонятно по управлению при анализе (если это какой то фейк), сложности со средой для размножения (всё таки сильно отличается от требований для "Европейского" малваре), да и просто такое количество его валит, что пойди разберись что там что.

А между тем, как бы не ругали Китайцев, и как бы не был их рынок падок на халяву, а всё таки это рынок (пусть даже в потенциале). А учитывая, насколько больше с каждым годом Китай доминирует как сверхдержава…

Ну, в общем, к чему это я? Да, тест другой, порой странный, софт на котором тестировалось тоже какой то весь для нас непривычный и незнакомый. Но это всё только потому, что вендоры уже подстроились под привычные европейские тесты, притёрлись, изучили повадки и методологии. А тут (у Китайцев) всё совсем иначе, всё непонятно. Всё надо делать сначала.

Ну и, конечно же, реакция на тест была бы совсем иной, если бы были другие результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Надо сказать что с вендорами PCSL работает, и нам результаты присылали, аналогично и в тестах не детект. Как будут новые результаты я размещу -)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ИМХО тест вообще не интересен. Так как если вендор не представлен в этом регионе, то и фалсы исправлять некому. А китайцы могут что угодно понаписать из "легального" софта.

Вот тут я абсолютно согласен с Danilka. Мне, как пользователю Avira с многолетним стажем, более близки и понятны результаты европейских тестов. Я искренне удивляюсь, когда слышу о страшных фолсах Авиры, которые буквально не дают бедным пользователям спокойно сидеть за компьютером. О них я узнаю только из тем на различных форумах. Не знаю, может я не на тех сайтах бываю и не тот софт устанавливаю... И это не смотря на то, что эвристика у меня выставлена всегда по максимуму (как в тесте AV-comparatives.org) и даже включен детект всех видов угроз, включая подозрительные упаковщики и прочее.

И в завершение процитирую Юрия Паршина (уж не сочтите меня фаном ЛК :D ):

Часто грань между понятиями "легальная китайская тулза" и "малвара" слишком тонка.
Думаю, этим всё сказано. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В продолжение мысли: стиль программирования у китайских товарищей (утверждение не мое, а подслушанное в беседе со знакомыми программерами) весьма и весьма своеобразный. Иногда сильно халтурный и грубоватый "лишь бы как-нибудь работало". Оттого и "непонимание" некоторых ведущих антивирисных вендоров таких программ и соответствующая реакция, которая "как бы фолс".

И, думаю, в перспективе (уж в ближайшей точно) сильных изменений в результатах подобных "локальных" тестов ожидать не приходится. Ведь антивирус (актуальный, современный) работает не столько с самой программой, сколько с ее ожидаемым (неожиданным) поведением.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересное замечание:

BitDefender имеет минимум фолсов как предоставленными тестами от Китайцев так и от AV-comparatives :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Он там бесплатно отдается просто.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
BitDefender имеет минимум фолсов как предоставленными тестами от Китайцев так и от AV-comparatives smile.gif
Он там бесплатно отдается просто.

А какая связь между минимумом фалсов и бесплатностью? Аваст или Авира по всему миру бесплатно отдаются, но у них нет нуля ложных срабатываний.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин

Представлен в регионе - фолсов минимум.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Представлен в регионе - фолсов минимум.

А почему тогда китайские антивирусы не так круты оказались? По логике они должны были там лидировать с показателями близкими к нулю.

Если честно, то меня смущают в этом тесте нули напротив BitDefender и MicroWorld.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS