Перейти к содержанию
Николай Терещенко

Методика оценки теста.

Recommended Posts

Николай Терещенко

Разгорелась бурная дискуссия по поводу методики оценки результатов. На примере первого теста предлагаю обсудить, как давать оценку результатам.

Вопрос ко всем - оцените результаты теста (какие пакеры поддерживаются) следующих антивирусов, например:

- Avast;

- Antivir;

- McAfee;

- UNA;

- VBA32.

Как вы считаете и почему?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Ну, раз никто не хочет начинать, давайте я и начну.

Вот как бы я провел первый тест, учитывая все высказанные замечания и предложения. Возьму первые два антивируса, остальное думаю будет понятно.

1:

Из пакуемых вирусов я бы выкинул Email-Worm.Win32.Bagle, который плохо пакуется и только вносит ложные данные в тест, т.к. предположить о корректности или некорректности его сигнатуры у антивируса не представляется возможным. Слишком мало рабочих экземпляров ...

2:

К сожалению во время теста не было выявлено как именно детектировался вирус – дженерик или эвристика. В следствии этого для данного анализа я предположу, что везде работал Дженерик детект. К эвристике я думаю, мы еще вернемся в ноябрьском тесте, когда у нас будут данные.

3:

Теперь сам анализ

Avast:

Очевидно, что Avast точно не знает 7 упаковщиков:

- ACProtect

- EXECryptor

- Obsidium

- ORiEN

- Packman

- Private exe Protector

- yoda's Protector

Так же очевидно, что 100% определяется только один упаковщик:

- Morphine

В остальном, антивирус почти не распаковывает вирусы Backdoor.Win32.BO_Installer и

Trojan-Clicker.Win32.Getfound. Предполагается, что сигнатуры данных вирусов добавлены разработчиками антивирусов криво. Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- ** ASPack

- ** ASProtect

- ** ExeStealth

- ** MEW

- ** NsPack

- ** PECompact2

- ** PESpin

- ** Petite

- ** UPX

- ** WinUpack

- ** yoda's Cryptor

* - не определение одного из упакованных вирусов.

В итоге результат Avast:

04,76% - Full Detect

09,52% - 1 False

52,38% - 2 False

33,33% - No Detect

Antivir:

Очевидно, что Antivir точно не знает 14 упаковщиков:

- ACProtect (Trojan-Clicker.Win32.Getfound – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- ASProtect

- EXECryptor

- ExeStealth

- Morphine

- NsPack

- Obsidium

- ORiEN

- Packman

- PECompact2

- PESpin (Email-Worm.Win32.Naked – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- Petite

- Private exe Protector

- yoda's Protector (не считаю, что пакер поддерживается, если кол-во фэлсов было более 2-х)

Так же очевидно, что 100% определяется только два упаковщика:

- ASPack

- yoda's Cryptor

В остальном прослеживается некорректность распаковки Email-Worm.Win32.Swen и Trojan-Clicker.Win32.Getfound обработанными некоторыми упаковщиками (возможно антивирусом используется некорректная сигнатура этих вирусов). Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- * MEW

- * UPX

- * WinUpack

* - не определение одного из упакованных вирусов.

В итоге результат Antivir:

09,52% - Full Detect

23,81% - 1 False

00,00% - 2 False

66,67% - No Detect

Итог:

В общем отчете по каждому антивирусу будут указываться 4-ре позиции.

Но в любом случае предлагаю давать награды только за 100% детект, в указанных в методике процентных промежутках.

Конечно, отлов по эвристике внесет коррективы в результаты, но это уже обсуждение следующего теста.

Добавлено спустя 40 секунд:

Ваши комментарии или мнения? 8)

Avast.jpg

Antivir.jpg

post-7-1156410871.jpg

post-1-1156410871.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Эвристическое срабатывание DrWEb 4.33

Поисковый модуль:

* новый эвристический анализатор, который позволяет обнаруживать

новые модификации вирусов, следующих типов:

DLOADER (Trojan.DownLoader.xxx), MULDROP (Trojan.MulDrop.xxx),

STPAGE (Trojan.StartPage), BACKDOOR (BackDoor.xxx),

PWS (Trojan.PWS.xxx), WORM and MAIL.WORM (e-mail worms).

Возможные комбинации:

(DLOADER|MULDROP|STPAGE)(.IRC)(.PWS).Trojan

BACKDOOR(.IRC)(.PWS).Trojan

WIN.(.IRC)(.PWS)(.MAIL).WORM.Virus

Эвристическое срабатывание UNA

1) Для Win32 (PE) файлов:

Win32.TSR.virus, Win32.HLLx.virus, Win32.CRYPT.virus, Win32.virus, I-Worm.Win32.virus, I-Worm.Win32.TSR.virus, Trojan.Win32, Trojan.Win32.PSW (сравнивать только полные совпадения строк, если например будет Trojan.Win32.VB - то это уже запись).

2) Для COM/EXE файлов (DOS):

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: COM, EXE, HLLx, TSR, BOOT, CRYPT.

Например: COM.TSR.CRYPT.virus.

3) Для макросов различных документов: MACRO.virus.

4) Для скриптов:

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: I-Worm, BAT, VBS, JS.

Например: I-Worm.VBS.virus, или BAT.virus.

Вот так всё непросто, лучше уж по логам смотреть на сообщение suspicious.

Более подробно тут:

http://virusinfo.info/showthread.php?p=78247#post78247

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych
Эвристическое срабатывание UNA

...

В данном посте речь шла о том, что люди использовали результаты VirusTotal для составления таблицы результатов проверки файлов. При этом им недоступны были LOG-файлы, а только имена вирусов, и при этом не пишется сгенерировано имя базами или эвристикой.

Если же у вас на руках есть логи, то всё значительно проще, для срабатывания баз пишется infected <Имя вируса>, для эвристического срабатывания - suspiciouse <Имя вируса>

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×