PC Security Labs: China Region False Positive Test (Январь 2011) - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

PC Security Labs: China Region False Positive Test (Январь 2011)

Recommended Posts

Сергей Ильин

Как-то ускользнул из нашего поля зрения достаточно интересный тест от китайских коллег из PC Security Labs на такую злободневную тему, как ложные срабатывания.

Антивирусы в тесте проверялись на ложный срабатывания двух типов: статические (во время сканирования файловой коллекции), динамические (во время установки программ). Как я понял, коллекция составлялась из софта на китайском языке (из разных провинций + Тайвань).

Результаты весьма интересные. Суммарный уровень ложный срабатываний можно посмотреть на этом графике

2011_JAN_Greater_China_Region_False_Positive_Test.PNG

Подробные результаты теста (включая список программ и файлов на которых были ложные срабатывания с md5) доступны в отчете

http://www.pcsecuritylabs.net/document/rep...est_English.pdf

Также там есть разбивка на динамические и статические ложные срабатывания.

ИМХО тест интересен тем, что показывание уровень фалсивости антивирусов на локальном софте, в данном случае китайском.

post-4-1302718217_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

ИМХО тест вообще не интересен. Так как если вендор не представлен в этом регионе, то и фалсы исправлять некому. А китайцы могут что угодно понаписать из "легального" софта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Китайский софт в данном случае как лакмусовая бумажка. Если вендор проверяет технологии на ложный срабатывания на локальном софте, то результаты по Китаю будут хорошие. Если забивает, ограничиваясь только софтом, за которым просто дотянуться, то там будет все плохо.

Потом ИМХО работает вендор в Китае или нет не имеет значения. Если он там не продается, то это не значит, что можно безбожно фалсить на все китайское :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Сергей Ильин

Пример: Имеем вендора "А", который не фолсит на китайском софте. Что это нам дает? Что он не будет фолсить на индийском софте или каком либо другом? Какой в этом интерес для нас?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Razboynik

Как то сильно большое расхождение этого теста с тестом от AV-comparatives.org (сообщение, где информация по ложным срабатываниям).

Например, прикиньте разницу в этих тестах по Avira. Ну, и по другим антивирусам тоже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как то сильно большое расхождение этого теста с тестом от AV-comparatives.org

Вот как раз это расхождение и представляет наибольший интерес. Получается, что та же Авира безбожно фалсит на китайский софт. Не лучшим образом себя показали здесь Symantec и McAfee. А вот Trend Micro наоборот в порядке, близок он к китайцам исторически.

Но напрямую нельзя сравнивать эти 2 теста. Ребята из PC Security Labs проверяли и динамические ложные срабатывание тоже, чего, естественно, не делают в AV-comparatives. Так что в это плане методология у них более продвинутая.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

У PCSL методология теста очень интересная, они используют данные о распространенности, динамически запускают вредоносы и т.д. в тестах на детект.

Надо сказать что китайский рынок и китайский софт какая то катастрофически другая реальность, которую тяжело понять. А учитывая что там правит бал халява, то и усилий не него тратить вендоры не много будут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
У PCSL методология теста очень интересная, они используют данные о распространенности, динамически запускают вредоносы и т.д. в тестах на детект.

Надо сказать что китайский рынок и китайский софт какая то катастрофически другая реальность, которую тяжело понять. А учитывая что там правит бал халява, то и усилий не него тратить вендоры не много будут.

Вот я о том и говорю... Что до того, что ТАМ в Китае ложняки на их софт..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Юрий Паршин
Китайский софт в данном случае как лакмусовая бумажка. Если вендор проверяет технологии на ложный срабатывания на локальном софте, то результаты по Китаю будут хорошие. Если забивает, ограничиваясь только софтом, за которым просто дотянуться, то там будет все плохо.

Отнюдь нет. Часто грань между понятиями "легальная китайская тулза" и "малвара" слишком тонка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych

А я думаю, что Китайский тест должен быть как альтернатива европейским. Поясню.

Каково отношение антивирусных вендоров (европейских, американских) к ложнякам на китайский софт и к этому софту в целом? Насколько я вижу - довольно прохладное. Да и разгребать этот хлам крайне сложно: непонятно по управлению при анализе (если это какой то фейк), сложности со средой для размножения (всё таки сильно отличается от требований для "Европейского" малваре), да и просто такое количество его валит, что пойди разберись что там что.

А между тем, как бы не ругали Китайцев, и как бы не был их рынок падок на халяву, а всё таки это рынок (пусть даже в потенциале). А учитывая, насколько больше с каждым годом Китай доминирует как сверхдержава…

Ну, в общем, к чему это я? Да, тест другой, порой странный, софт на котором тестировалось тоже какой то весь для нас непривычный и незнакомый. Но это всё только потому, что вендоры уже подстроились под привычные европейские тесты, притёрлись, изучили повадки и методологии. А тут (у Китайцев) всё совсем иначе, всё непонятно. Всё надо делать сначала.

Ну и, конечно же, реакция на тест была бы совсем иной, если бы были другие результаты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr

Надо сказать что с вендорами PCSL работает, и нам результаты присылали, аналогично и в тестах не детект. Как будут новые результаты я размещу -)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ak_
ИМХО тест вообще не интересен. Так как если вендор не представлен в этом регионе, то и фалсы исправлять некому. А китайцы могут что угодно понаписать из "легального" софта.

Вот тут я абсолютно согласен с Danilka. Мне, как пользователю Avira с многолетним стажем, более близки и понятны результаты европейских тестов. Я искренне удивляюсь, когда слышу о страшных фолсах Авиры, которые буквально не дают бедным пользователям спокойно сидеть за компьютером. О них я узнаю только из тем на различных форумах. Не знаю, может я не на тех сайтах бываю и не тот софт устанавливаю... И это не смотря на то, что эвристика у меня выставлена всегда по максимуму (как в тесте AV-comparatives.org) и даже включен детект всех видов угроз, включая подозрительные упаковщики и прочее.

И в завершение процитирую Юрия Паршина (уж не сочтите меня фаном ЛК :D ):

Часто грань между понятиями "легальная китайская тулза" и "малвара" слишком тонка.
Думаю, этим всё сказано. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
deviss

В продолжение мысли: стиль программирования у китайских товарищей (утверждение не мое, а подслушанное в беседе со знакомыми программерами) весьма и весьма своеобразный. Иногда сильно халтурный и грубоватый "лишь бы как-нибудь работало". Оттого и "непонимание" некоторых ведущих антивирисных вендоров таких программ и соответствующая реакция, которая "как бы фолс".

И, думаю, в перспективе (уж в ближайшей точно) сильных изменений в результатах подобных "локальных" тестов ожидать не приходится. Ведь антивирус (актуальный, современный) работает не столько с самой программой, сколько с ее ожидаемым (неожиданным) поведением.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GRINDERs

Интересное замечание:

BitDefender имеет минимум фолсов как предоставленными тестами от Китайцев так и от AV-comparatives :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Он там бесплатно отдается просто.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
BitDefender имеет минимум фолсов как предоставленными тестами от Китайцев так и от AV-comparatives smile.gif
Он там бесплатно отдается просто.

А какая связь между минимумом фалсов и бесплатностью? Аваст или Авира по всему миру бесплатно отдаются, но у них нет нуля ложных срабатываний.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Сергей Ильин

Представлен в регионе - фолсов минимум.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Представлен в регионе - фолсов минимум.

А почему тогда китайские антивирусы не так круты оказались? По логике они должны были там лидировать с показателями близкими к нулю.

Если честно, то меня смущают в этом тесте нули напротив BitDefender и MicroWorld.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Да есть такой баг, выбор целого диска не предусмотрел.
    • PR55.RP55
      Сейчас попробовал добавить файлы и... E:\ [Error: 0x3 - The system cannot find the path specified. ] т.е. Файл > Добавить в список >  Все исполняемые файлы каталога. или пишет вышеуказанную ошибку или вешается. Это и на Win 7 и на Win 10 и с HDD дисками и с USB Диски нормально открываются т.е. доступны.
    • demkd
      А ничего с этим не сделать старые версии windows проблемные там система сама балуется внедрением потоков при очень низком уровне защиты системных процессов, а эцп вообще ничего не гарантирует когда речь заходит о внедренных потоках, зловред вполне может внедрить поток в системный процесс как с помощью подкинутой в правильное место "легитимной" dll, так и просто создав его, а тот уже в свою очередь внедрить в следующий системный и ищи концы среди вот этого вот всего.
      Все это усугубляется тем что тот же SVCHOST.EXE который был когда запущен может оказаться совсем не системным, хотя путь у него будет правильным как и файл будет иметь валидную эцп и запущен он будет якобы services.exe, в 10ке такое провернуть уже сложнее, а вот 7ке легко, потому урезать лог по принципу "оба файла имеют эцп" никак нельзя.
    • PR55.RP55
      uVS v5.0.6v x64 [http://dsrt.dyndns.org:8888]: Windows 7 Home Basic x64 (NT v6.1 SP1) build 7601 Service Pack 1 [C:\WINDOWS] (!) ПРЕДУПРЕЖДЕНИЕ: Ф зафиксировал внедрение потока C:\WINDOWS\SYSTEM32\SERVICES.EXE [428] внедрил поток [380] в процесс: C:\WINDOWS\SYSTEM32\SVCHOST.EXE [876]   C:\WINDOWS\SYSTEM32\SVCHOST.EXE [1060] внедрил поток [1276] в процесс: C:\WINDOWS\SYSTEM32\SVCHOST.EXE [336] и т.д.  А есть ли смысл выводить в лог десяток - другой аналогичных записей, если все эти файлы  в базе проверенных и у них легальная цифровая?  
    • demkd
      ---------------------------------------------------------
       5.0.6
      ---------------------------------------------------------
       o Добавлено 4 новых ключа автозапуска в список для проверки.

       o Добавлен новый статус "UWP".
         Его получают пакеты приложений универсальной платформы Windows (Universal Windows Platform Apps).

       o Добавлен новый твик #46: Отключить Windows Terminal и очистить реестр.
         Если Windows Terminal активен, в лог выдается предупреждение.
         При обнаружении подозрительных настроек Windows Terminal в конфигурационных файлах, реестре или в каталогах с фрагментами в лог выводится предупреждение.
         Если подозрительная строка найдена в JSON-файле настроек, то в список автозапуска добавляется этот файл с содержимым со статусом "подозрительный".
         В любом случае рекомендуется отключить Windows Terminal, а еще лучше немедленно удалить это из системы.
         Windows Terminal — крайне уязвимый и неоптимизированный кусок кода.

       o Улучшена функция масштабирования удаленного рабочего стола, повышено качество аппаратного апскейла, добавлен параметр "Резкость".
         (Требуется D2D и DX11 на клиентском компьютере)

       o Исправлена старая ошибка в функции отправки ответов серверной части uVS.
         Из-за ошибки в редких случаях могло происходить подвисание серверной и клиентской частей uVS при работе с удаленной системой.

       o Исправлена ошибка в функции завершения серверной части при выходе из удаленной системы.

       o Оптимизирована функция подключения к удаленной системе.

       o Оптимизирована функция сжатия фреймов для DDAL/DDAw режимов: шрифты теперь не теряют яркость, а картинка DDAL практически неотличима от DDA1/DDA2 на глаз, 
         при этом размер сжатого фрейма вырос лишь незначительно.

       o Добавлена x64 версия report_crash.

       o Обновалена функция сбора дампа при падении uVS, функция перенесена в утилиту report_crash, что позволит
         получить максимально точную информацию о произошедшей ошибке.

       o Временно добавлена аппаратная функция обнаружения разрушения списка автозапуска в памяти uVS, что позволит отлавливать сложные в обнаружении ошибки.
         Есть 5 дампов, по которым не удалось выяснить точное место ошибки и эта функция должна помочь найти проблемное место.
         Функция снижает скорость формирования списка на ~5% на современных процессорах.

       o Исправлена ошибка в функции подсчета удаленных ключей реестра.

       o Исправлена ошибка в функции записи параметров при выходе из uVS.

       o Исправлена ошибка разбора JSON-файлов.

       o Исправлена ошибка проверки переменных окружения загруженного пользователя.

       o Из списка доступных для подключения IP-адресов удалены адреса активных VPN.

       
×