Методика оценки теста. - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Николай Терещенко

Методика оценки теста.

Recommended Posts

Николай Терещенко

Разгорелась бурная дискуссия по поводу методики оценки результатов. На примере первого теста предлагаю обсудить, как давать оценку результатам.

Вопрос ко всем - оцените результаты теста (какие пакеры поддерживаются) следующих антивирусов, например:

- Avast;

- Antivir;

- McAfee;

- UNA;

- VBA32.

Как вы считаете и почему?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Ну, раз никто не хочет начинать, давайте я и начну.

Вот как бы я провел первый тест, учитывая все высказанные замечания и предложения. Возьму первые два антивируса, остальное думаю будет понятно.

1:

Из пакуемых вирусов я бы выкинул Email-Worm.Win32.Bagle, который плохо пакуется и только вносит ложные данные в тест, т.к. предположить о корректности или некорректности его сигнатуры у антивируса не представляется возможным. Слишком мало рабочих экземпляров ...

2:

К сожалению во время теста не было выявлено как именно детектировался вирус – дженерик или эвристика. В следствии этого для данного анализа я предположу, что везде работал Дженерик детект. К эвристике я думаю, мы еще вернемся в ноябрьском тесте, когда у нас будут данные.

3:

Теперь сам анализ

Avast:

Очевидно, что Avast точно не знает 7 упаковщиков:

- ACProtect

- EXECryptor

- Obsidium

- ORiEN

- Packman

- Private exe Protector

- yoda's Protector

Так же очевидно, что 100% определяется только один упаковщик:

- Morphine

В остальном, антивирус почти не распаковывает вирусы Backdoor.Win32.BO_Installer и

Trojan-Clicker.Win32.Getfound. Предполагается, что сигнатуры данных вирусов добавлены разработчиками антивирусов криво. Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- ** ASPack

- ** ASProtect

- ** ExeStealth

- ** MEW

- ** NsPack

- ** PECompact2

- ** PESpin

- ** Petite

- ** UPX

- ** WinUpack

- ** yoda's Cryptor

* - не определение одного из упакованных вирусов.

В итоге результат Avast:

04,76% - Full Detect

09,52% - 1 False

52,38% - 2 False

33,33% - No Detect

Antivir:

Очевидно, что Antivir точно не знает 14 упаковщиков:

- ACProtect (Trojan-Clicker.Win32.Getfound – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- ASProtect

- EXECryptor

- ExeStealth

- Morphine

- NsPack

- Obsidium

- ORiEN

- Packman

- PECompact2

- PESpin (Email-Worm.Win32.Naked – м.б. это была эвристика, а м.б. именно такой вирус существовал)

- Petite

- Private exe Protector

- yoda's Protector (не считаю, что пакер поддерживается, если кол-во фэлсов было более 2-х)

Так же очевидно, что 100% определяется только два упаковщика:

- ASPack

- yoda's Cryptor

В остальном прослеживается некорректность распаковки Email-Worm.Win32.Swen и Trojan-Clicker.Win32.Getfound обработанными некоторыми упаковщиками (возможно антивирусом используется некорректная сигнатура этих вирусов). Вследствие этого засчитываем работу с упаковщиками, но с дефектом:

- * Dropper

- * FSG

- * MEW

- * UPX

- * WinUpack

* - не определение одного из упакованных вирусов.

В итоге результат Antivir:

09,52% - Full Detect

23,81% - 1 False

00,00% - 2 False

66,67% - No Detect

Итог:

В общем отчете по каждому антивирусу будут указываться 4-ре позиции.

Но в любом случае предлагаю давать награды только за 100% детект, в указанных в методике процентных промежутках.

Конечно, отлов по эвристике внесет коррективы в результаты, но это уже обсуждение следующего теста.

Добавлено спустя 40 секунд:

Ваши комментарии или мнения? 8)

Avast.jpg

Antivir.jpg

post-7-1156410871.jpg

post-1-1156410871.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Эвристическое срабатывание DrWEb 4.33

Поисковый модуль:

* новый эвристический анализатор, который позволяет обнаруживать

новые модификации вирусов, следующих типов:

DLOADER (Trojan.DownLoader.xxx), MULDROP (Trojan.MulDrop.xxx),

STPAGE (Trojan.StartPage), BACKDOOR (BackDoor.xxx),

PWS (Trojan.PWS.xxx), WORM and MAIL.WORM (e-mail worms).

Возможные комбинации:

(DLOADER|MULDROP|STPAGE)(.IRC)(.PWS).Trojan

BACKDOOR(.IRC)(.PWS).Trojan

WIN.(.IRC)(.PWS)(.MAIL).WORM.Virus

Эвристическое срабатывание UNA

1) Для Win32 (PE) файлов:

Win32.TSR.virus, Win32.HLLx.virus, Win32.CRYPT.virus, Win32.virus, I-Worm.Win32.virus, I-Worm.Win32.TSR.virus, Trojan.Win32, Trojan.Win32.PSW (сравнивать только полные совпадения строк, если например будет Trojan.Win32.VB - то это уже запись).

2) Для COM/EXE файлов (DOS):

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: COM, EXE, HLLx, TSR, BOOT, CRYPT.

Например: COM.TSR.CRYPT.virus.

3) Для макросов различных документов: MACRO.virus.

4) Для скриптов:

[префикс].virus, где префикс может состоять из следующих сочетаний, разделённых через точку: I-Worm, BAT, VBS, JS.

Например: I-Worm.VBS.virus, или BAT.virus.

Вот так всё непросто, лучше уж по логам смотреть на сообщение suspicious.

Более подробно тут:

http://virusinfo.info/showthread.php?p=78247#post78247

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych
Эвристическое срабатывание UNA

...

В данном посте речь шла о том, что люди использовали результаты VirusTotal для составления таблицы результатов проверки файлов. При этом им недоступны были LOG-файлы, а только имена вирусов, и при этом не пишется сгенерировано имя базами или эвристикой.

Если же у вас на руках есть логи, то всё значительно проще, для срабатывания баз пишется infected <Имя вируса>, для эвристического срабатывания - suspiciouse <Имя вируса>

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • PR55.RP55
      Год от года фактически постоянно можно наблюдать ... такого рода записи C:\ProgramData\Google\Chrome\updater.exe PROGRAM FILES\GOOGLE\CHROME\UPDATER.EXE APPDATA\LOCAL\360EXTREMEBROWSER\CHROME C:\ProgramData\Google\Chrome\helper.exe Предлагаю все записи где фигурирует Chrome - добавить  к Категории: Chromium-based Да... это другое... Это, как правило имитация ( но имеющая отношение ) так какой смысл в отдельных записях, если всё это можно собрать в одной категории.  
    • PR55.RP55
      Добавить в меню команду: Удалить записи\сетевые адреса соответствующие поисковому запросу. * В списке может быть 10-20 записей\ссылок на левые сайты. Создавать критерии, не всегда нужно\выгодно... А отдавать команды по каждой ссылке большой расход времени и нервов.  
    • demkd
      Это внеплановое обновление для разбора необычного случая с внедренными потоками, соответственно релиз задерживается. ---------------------------------------------------------
       5.0.RC2
      ---------------------------------------------------------
       o При обнаружении внедренного потока в процессе в лог печатается точное
         время создания потока и ТОП 10 наиболее вероятных виновников.
         (!) Только для потоков не имеющих привязки к DLL.
         (!) Функция требует активного отслеживания процессов. (Твик #39)

       o Изменен способ адресации мониторов при работе с удаленным рабочим столом.
         Теперь выбирается не логический номер монитора, а его порядковый номер,
         что позволяет избежать проблем при обновлении драйверов на видеокарту
         без закрытия окна удаленного рабочего стола.

       o В окно удаленного рабочего стола добавлена кнопка "Меню", она открывает
         на удаленном компьютере окно с кнопками быстрого доступа к часто используемым
         настройкам системы и системным утилитам.
         Утилиты из этого окна запускаются на удаленном компьютере под текущим пользователем.

       
    • demkd
      С большой вероятностью эта версия и станет v5.0
      Все что было запланировано реализовано. ---------------------------------------------------------
       5.0.RC1
      ---------------------------------------------------------
       o В окно запуска добавлен пункт меню "Перезагрузить в интерфейс встроенного ПО [UEFI]"
         Доступно начиная с Win10.

       o В окно запуска добавлен выбор основного шрифта.

       o Пополнено окно дополнительных настроек.

       o В функцию удаления временных файлов добавлено 4 каталога с временным файлами Windows.
         o \Windows\Downloaded Program Files
         o \ProgramData\Microsoft\Windows\WER\ReportArchive   
         o \ProgramData\Microsoft\Windows\WER\ReportQueue
         o \ProgramData\Microsoft\Windows\WER\Temp
         Функция больше не выводит в лог пути до отсутствующих каталогов.

       o Исправлена критическая ошибка инициализации режима DDA,
         она могла проявляться на чипсетах AMD при подключении
         физического монитора к компьютеру, который был отключен или физически
         не подключен на этапе загрузки системы, при этом меняются логические
         номера дисплеев и 1-го дисплея обычно не существует, поэтому
         если вы подключились и 1-й дисплей показывает черный квадрат то
         стоит попробовать переключиться на 2-й и т.п.
         (!) В этом случае не работает программный способ вывода дисплея из сна,
         (!) поэтому в текущей версии движения мыши в любом случае передаются на
         (!) удаленный компьютер, что гарантировано пробуждает спящий дисплей
         (!) при переключении на него.

       o Исправлена ошибка создания загрузочного диска под Windows 11 24H2,
         по неизвестной причине в этой редакции Windows dism из пакета ADK
         не способен без ошибок сформировать загрузочный образ диска,
         поэтому все операции с образом диска теперь выполняет штатный dism из системного каталога.

       o Исправлена ошибка для определения пути до драйвера CDD.DLL при анализе
         ключей безопасного режима.

       
    • PR55.RP55
      Критическая уязвимость в ASUS DriverHub https://www.comss.ru/page.php?id=16443
×