Перейти к содержанию
Николай Терещенко

Методика оценки теста.

Recommended Posts

Николай Терещенко

Разгорелась бурная дискуссия по поводу методики оценки результатов. На примере первого теста предлагаю обсудить, как давать оценку результатам.

Вопрос ко всем - оцените результаты теста (какие пакеры поддерживаются) следующих антивирусов, например:

- Avast;

- Antivir;

- McAfee;

- UNA;

- VBA32.

Как вы считаете и почему?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Ну, раз никто не хочет начинать, давайте я и начну.

Вот как бы я провел первый тест, учитывая все высказанные замечания и предложения. Возьму первые два антивируса, остальное думаю будет понятно.

1:

Из пакуемых вирусов я бы выкинул Email-Worm.Win32.Bagle, который плохо пакуется и только вносит ложные данные в тест, т.к. предположить о корректности или некорректности его сигнатуры у антивируса не представляется возможным. Слишком мало рабочих экземпляров ...

2:

К сожалению во время теста не было выявлено как именно детектировался вирус – дженерик или эвристика. В следствии этого для данного анализа я предположу, что везде работал Дженерик детект. К эвристике я думаю, мы еще вернемся в ноябрьском тесте, когда у нас будут данные.

3:

Теперь сам анализ

Avast:

Очевидно, что Avast точно не знает 7 упаковщиков:

- ACProtect

- EXECryptor

- Obsidium

- ORiEN

- Packman

- Private exe Protector

- yoda's Protector

Так же очевидно, что 100% определяется только один упаковщик:

- Morphine

В остальном, антивирус почти не распаковывает вирусы Backdoor.Win32.BO_Installer и

Trojan-Clicker.Win32.Getfound. Предполагается, что сигнатуры данных вирусов добавлены разработчиками антивирусов криво. Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- ** ASPack

- ** ASProtect

- ** ExeStealth

- ** MEW

- ** NsPack

- ** PECompact2

- ** PESpin

- ** Petite

- ** UPX

- ** WinUpack

- ** yoda's Cryptor

* - не определение одного из упакованных вирусов.

В итоге результат Avast:

04,76% - Full Detect

09,52% - 1 False

52,38% - 2 False

33,33% - No Detect

Antivir:

Очевидно, что Antivir точно не знает 14 упаковщиков:

- ACProtect (Trojan-Clicker.Win32.Getfound – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- ASProtect

- EXECryptor

- ExeStealth

- Morphine

- NsPack

- Obsidium

- ORiEN

- Packman

- PECompact2

- PESpin (Email-Worm.Win32.Naked – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- Petite

- Private exe Protector

- yoda's Protector (не считаю, что пакер поддерживается, если кол-во фэлсов было более 2-х)

Так же очевидно, что 100% определяется только два упаковщика:

- ASPack

- yoda's Cryptor

В остальном прослеживается некорректность распаковки Email-Worm.Win32.Swen и Trojan-Clicker.Win32.Getfound обработанными некоторыми упаковщиками (возможно антивирусом используется некорректная сигнатура этих вирусов). Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- * MEW

- * UPX

- * WinUpack

* - не определение одного из упакованных вирусов.

В итоге результат Antivir:

09,52% - Full Detect

23,81% - 1 False

00,00% - 2 False

66,67% - No Detect

Итог:

В общем отчете по каждому антивирусу будут указываться 4-ре позиции.

Но в любом случае предлагаю давать награды только за 100% детект, в указанных в методике процентных промежутках.

Конечно, отлов по эвристике внесет коррективы в результаты, но это уже обсуждение следующего теста.

Добавлено спустя 40 секунд:

Ваши комментарии или мнения? 8)

Avast.jpg

Antivir.jpg

post-7-1156410871.jpg

post-1-1156410871.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Эвристическое срабатывание DrWEb 4.33

Поисковый модуль:

* новый эвристический анализатор, который позволяет обнаруживать

новые модификации вирусов, следующих типов:

DLOADER (Trojan.DownLoader.xxx), MULDROP (Trojan.MulDrop.xxx),

STPAGE (Trojan.StartPage), BACKDOOR (BackDoor.xxx),

PWS (Trojan.PWS.xxx), WORM and MAIL.WORM (e-mail worms).

Возможные комбинации:

(DLOADER|MULDROP|STPAGE)(.IRC)(.PWS).Trojan

BACKDOOR(.IRC)(.PWS).Trojan

WIN.(.IRC)(.PWS)(.MAIL).WORM.Virus

Эвристическое срабатывание UNA

1) Для Win32 (PE) файлов:

Win32.TSR.virus, Win32.HLLx.virus, Win32.CRYPT.virus, Win32.virus, I-Worm.Win32.virus, I-Worm.Win32.TSR.virus, Trojan.Win32, Trojan.Win32.PSW (сравнивать только полные совпадения строк, если например будет Trojan.Win32.VB - то это уже запись).

2) Для COM/EXE файлов (DOS):

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: COM, EXE, HLLx, TSR, BOOT, CRYPT.

Например: COM.TSR.CRYPT.virus.

3) Для макросов различных документов: MACRO.virus.

4) Для скриптов:

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: I-Worm, BAT, VBS, JS.

Например: I-Worm.VBS.virus, или BAT.virus.

Вот так всё непросто, лучше уж по логам смотреть на сообщение suspicious.

Более подробно тут:

http://virusinfo.info/showthread.php?p=78247#post78247

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych
Эвристическое срабатывание UNA

...

В данном посте речь шла о том, что люди использовали результаты VirusTotal для составления таблицы результатов проверки файлов. При этом им недоступны были LOG-файлы, а только имена вирусов, и при этом не пишется сгенерировано имя базами или эвристикой.

Если же у вас на руках есть логи, то всё значительно проще, для срабатывания баз пишется infected <Имя вируса>, для эвристического срабатывания - suspiciouse <Имя вируса>

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Mawa27
      Здравствуйте,я покупала в данном интернет-магазине https://compacttool.ru/ .Здесь достаточно широкий ассортимент товара и цены вполне адекватные+ быстрая доставка.Я осталась довольна покупкой.Рекомендую.
    • Sawa26
      Ребят где купить модуль питания  беспаечной платы?
    • Mawa27
      Я пользуюсь услугами вот этих ребят https://prohoster.info.Они предоставляют комплексные услуги по созданию сайтов и их обслуживанию, начиная от выбора доменного имени, заканчивая доп. услугами для его защиты от вирусных атак.
    • Sawa26
      Ребят,где приобрести надежный хостинг?
    • Alexey Markov
      Настоящий тест файерволов - это когда вы пытаетесь зайти на сайт со взрослым контентом, к примеру, казино https://slots-doc.com/ . Вот тут-то наступает момент истины.  Брандмаузер должен быть настроен так, чтобы позволить  программному обеспечению подключаться к серверу. Вопрос - как настраивать? Внутри панели управления брандмауэра как праивло есть список программ и разрешений для каждого файла программы. Эти разрешения устанавливаются по умолчанию при первом запуске нашей программы под брандмауэром. Он спросит вас, что делать, и если вы нажмете ОК и примете их рекомендацию, программа будет заблокирована. Чтобы исправить это, вам нужно найти этот список программ и установить их разрешения, выбрав «Разрешить все» или эквивалент неограниченного доступа. Это будет что-то похожее на процесс ниже, хотя расположение будет отличаться в каждом брандмауэре. Откройте панель управления брандмауэром (часто дважды щелкните значок брандмауэра возле системных часов Windows или найдите в меню «Пуск»).
      Нажмите на вкладку «Программы» (или иным образом найдите список программ).
      В списке программ вы увидите следующие пункты. Для каждого из них достаточно изменить «Блокировать все» на «Разрешить все» (или использовать наименее ограничивающие разрешения), чтобы вы могли получить доступ к сайту. Инструкции могут различаться, и для получения дополнительной помощи вам следует обратиться к поставщику программного обеспечения брандмауэра.
×