Сергей Ильин

Тест антивирусов на поддержку упаковщиков II (подготовка)

В этой теме 38 сообщений

Коллеги, мы реанимируем идею проведения очередного теста антивирусов на поддержку упаковщиков. Как вы знаете, первый тест антивирусов на поддержку пакеров был опубликован еще в Августе 2006. Второй, к сожалению, сорвался по различным причинам.

Я помню, что методология этого теста подверглась критике, особенно представителями зарубежных вендорами Eset и F-Prot и нашим Доктором Вебом. Поэтому надеюсь на вашу помощь в выработке/доработке методологии.

Планируемые нововведения (отличия от предыдущего теста):

1. Пакеров будет больше, будут использоваться различные версии (Т.е. исключительно свободные или ломанные/зарегенные тулзы

все версии, способные генерить на выходе exe-шники безо всяких демо-сообщений и т.п. + сломанные и "расковырянные" именнно для упаковки малвары) Всего будет около 140 наименований упаковщиков и порядка 300 версий.

2. Вредоносы будут браться наиболее редкие, но детектируемые всеми, чтобы максимально исключить вероятность детект поверх пакера.

3. Из списка продуктов будет удалены UNA и CA.

4. Вероятнее всего будет изменена система оценки результатов. Будет градация (Полная поддержка - Частичная поддержка - Отсутствие поддержки).

5. Будет произведена проверка на ложные срабатывания

6. Частично будет изменены критерии для присуждения наград.

Этот тест будет проводить NickXists уже в самое ближайшее время.

Релиз - декабрь 2007.

**************************************

Если ли какие-то еще пожелания или замечания по тесту?

Готов ответить на любые вопросы. Надеюсь, что их будет много.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Относительно F-Prot:

откровенно порадовало добавление правил эвристики "Eldorado"

( http://forum.f-prot.com/index.php/topic,737.0.html )

и сопутствовавшее данному факту более или менее внятное наименование найденного

(по сравнению с ранее виденным "кажется, я что-то нашел" aka "[Found possible virus] <{no name} (not disinfectable)>", значительно осложнявшим трактовку результатов)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Настройки всех я так понимаю будут на максимум дабы опять таки исключить лишние вопросы позже.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Настройки всех я так понимаю будут на максимум дабы опять таки исключить лишние вопросы позже.

Да, конечно: все продукты будут настроены на макс. эффективность проверки.

---------------------------------------------------------------

По этому поводу есть небольшой вопрос отн-но

Vba32 и F-Prot

У Vba32 есть следующие настройки

.../PM[+|-]             - thorough check mode (VERY slow);/HA=[0|1|2|3]        - heuristic analysis level (0 - disabled, 2 - maximum);...

/PM+ замедлял процесс проверки примерно на 1/4

(а в итогах, в числе прочего, указывается и время проверки)

При иcпользовании крайнего значения /HA увеличится число ложняков (например, av подозревает Pinch-а там, где он и рядом не валялся)

---------------------------------------------------------------

Аналогично с F-Prot:

при задирании "уровня" эвристики в крайнее положение существенно увеличится число ложняков, но, вероятно, что-то будет и "зачтено"

---------------------------------------------------------------

Как правильнее мерять : ) ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

И так и так.

И на настройках по умолчанию и на максимальных.

Заодно увидим качество настроек каждого вендора.

Насколько хорошо был выбран уровень по умолчанию ;) .

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

В идеале было бы здорово проверить при дефолтовых и максимальных настройках. Думаю тут много бы всего интересного вылезло, особенно по фолсам.

Единственное, это заметно увеличит время тестирования и обработки результатов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

За каждый фолс - 0,5 штрафных балла.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Согласен, при проверке при (настройках по default-у) / ("выкрученных" на максимум) статистика получилась бы еще интереснее.

Время обработки результатов увеличится (не в два раза, но в >> 1.5 точно).

В принципе, при наличии достаточного интереса ничто не мешает сделать так.

---------------------------------------------------------

Добавлено спустя 19 минут 15 секунд:

За каждый фолс - 0,5 штрафных балла.

Если на грубом примере.

Проверка на определенной версии распространенного (для защиты вполне легального софта) протекторе N дала результат вида:

- продукт A - детект 40 из упакованных 100 файлов; фолсов 0;

- продукт B - детект 60 из упакованных 100 файлов; плюс 20 фолсов

(Грубо говоря: если упаковать блокнот с настройками A...B...C - он будет определен, например, как Trojan.x.x)

Что лучше для пользователя?

-------------------------------------------------

На мой взгляд, система штрафных баллов в данном случае - не лучший вариант, а пропорции - спорны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Штрафовать не стоит. Правильнее в выводах четко отметить, за счет чего достигается высокий детект упакованных зловредов у некоторых антивирусов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Хорошо. Согласен. Но упоминать о фолсах все-таки стоит. Ибо из-за фолса пользователь может снести любимое ПО.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Нет друзья по стойте, какие фолсы и скорость. Вопрос лежит либо детект либо нет детекта, неважно с какой скоростью, важно смог распаковать или нет я так понимаю, а то потом невидна будет общая картина теста, если все будут говорить о фолсах и о скоростях, а ведь идея не в этом а в поддержке пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

По моему, если антивирус фолсит на упакованный каким то пакером объект, то поддержка данного пакера спорна ;) .

Если только пакер не малварный, типа NSAnti.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

1.) Фолсы не учитываются при подсчете результатов

в_следующем_смысле:

на примере

"продукт B - детект 60 из упакованных 100 файлов; плюс 20 фолсов"

в результатах по данной версии данного пакера будет фигурировать

60/100

Фолсы - отдельной таблицей.

По моему, если антивирус фолсит на упакованный каким то пакером объект, то поддержка данного пакера спорна ;) .

Если только пакер не малварный, типа NSAnti.

В этом случае для данного продукта в соотв. поле будут цифры.

Например:

Таблица "Результаты детекта" -> : 60/100

Таблица "Ложные срабатываения" -> 20/100

Как вам такой вариант?

dan, и еще один момент : )

является ли, например, ExeCryptor (не ломанный exe-шник, а честно : ) зарегенный на, к примеру, Джона Ли Хукера) малварным пакером ?

И является ли реакция Kav вида "Packed.Win32.CryptExe..."

на все файлы, им "запротекченные" чем-то, отличным от фолса?

-------------------------------

Нет друзья по стойте, какие фолсы и скорость. Вопрос лежит либо детект либо нет детекта, неважно с какой скоростью, важно смог распаковать или нет я так понимаю, а то потом невидна будет общая картина теста, если все будут говорить о фолсах и о скоростях, а ведь идея не в этом а в поддержке пакеров.

2.) время будет указано как "факультативный" : ) параметр.

Просто для сведения:

"Вот за такое время продукт A проверил тестовый набор,

а за такое - продукт B на той_же_системе, в ~тех_же_условиях"

(влияние колебаний влажности воздуха, лунных приливов и увеличения поголовья тушканов в Мексике в расчет не принимаются : )

На результат теста пакеров данное число не влияет и ни в какие суммы не входит.

Если тест дает такую информацию, отчего бы ее не показать...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я считаю, что срабатывание на запакованный любым пакером Нотепад - фолса :-) Будем забираться уже по факту, хотел этого производитель или нет, малварный пакер или нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan, и еще один момент : )

является ли, например, ExeCryptor (не ломанный exe-шник, а честно : ) зарегенный на, к примеру, Джона Ли Хукера) малварным пакером :) ?

И является ли реакция Kav вида "Packed.Win32.CryptExe..."

на все файлы, им "запротекченные" чем-то, отличным от фолса?

Если это "скарденная" версия пакера, которую использовали исключительно вирмаки, то почему бы не задетектить.

А если детектить всё подряд запакованное купленной тулзой, то конечно 100% фолса.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
По этому поводу есть небольшой вопрос отн-но

Vba32 и F-Prot

У Vba32 есть следующие настройки

.../PM[+|-]             - thorough check mode (VERY slow);/HA=[0|1|2|3]        - heuristic analysis level (0 - disabled, 2 - maximum);...

/PM+ замедлял процесс проверки примерно на 1/4

(а в итогах, в числе прочего, указывается и время проверки)

При иcпользовании крайнего значения /HA увеличится число ложняков (например, av подозревает Pinch-а там, где он и рядом не валялся)

Применять /pm и /ha=3 при сканированиия с помощью VBA32 официально не рекомендуется (в GUI интерфейсе при попытке выставить эти настройки выдается дополнительное предупреждение). Консольный сканер возмущаться не будет, но информация о том, что для эвристики '2 - maximum' не является опечаткой. Данные настройки предназначены только для тех случаев, когда антивирус при стандартных настройках ничего не находит, но пользователь подозревает что на компьютере творится что-то неладное и хочет найти наиболее подозрительные файлы для дальнейшего анализа.

Обычных настроек '/ha=2' и '/af' должно быть достаточно для тестирования. В GUI сканере вообще по умолчанию выставлен уровень эвристики эквивалентный /ha=1.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

-> Сергей Семашко:

т.е. в качестве максимальных настроек рекомендуется использовать

/M=2 /HA=2?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
-> Сергей Семашко:

т.е. в качестве максимальных настроек рекомендуется использовать

/M=2 /HA=2?

Да

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Раз возражений больше нет, то можно приступать к тесту :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Да, в общем, видимо, все, кто хотели высказаться, уже сделали это : )

А возражений "по факту" все равно будет...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

> А возражений "по факту" все равно будет...

Да, будет :) Если будете тестить семерку, возьмите хотябы один файл, который однозначно берется эвристикой, а не только сигнатурами. Узнаем сколько пакеров может пройти новый эмулятор на дефолтовых настойках :) В смысле если после упаковки детект стал не сигнатурным а эвристическим, значит native поддержки пакера нет, но эмулятор его проходит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
> А возражений "по факту" все равно будет...

Да, будет :) Если будете тестить семерку, возьмите хотябы один файл, который однозначно берется эвристикой, а не только сигнатурами. Узнаем сколько пакеров может пройти новый эмулятор на дефолтовых настойках :) В смысле если после упаковки детект стал не сигнатурным а эвристическим, значит native поддержки пакера нет, но эмулятор его проходит.

Ну вот и первые претензии : )

Сорри, Dr.:

рад бы, но набор уже устаканился и во весь опор "кипит работа".

Видимо, это будет одним из пробелов.

Нет, блин, предела совершенству : )

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Есть ли какие-либо предложения насчет состава набора для проверки фолсов?

Интересуют три момента:

1.) Есть ли внятные аргументы против того, что ложные срабатывания будут проверяться только на тех тулзах, которые предусматривают использование в "мирных целях"?

Говоря проще - это минус крипторы и прочие конструкторы, однозначно заточенные под малвару.

2.) Какие предложения непосредственно по составу файлА?

Есть ли, что дополнить по комплекту вида

{стандартные файлы Win} + {нераспространенные standalone exe-шники} ?

3.) Нет ли принципиальных возражений отн-но того, что в под-тесте на ложняки будут фигурировать только exe?

т.е. w/o dll/sys/... и т.д.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1.) Есть ли внятные аргументы против того, что ложные срабатывания будут проверяться только на тех тулзах, которые предусматривают использование в "мирных целях"?

По хорошему, интересно посмотреть все тестируемые упаковщики на "фалсы". Будет видно, кто ставит вердикты по упаковщику, а кто реально поддерживает его.

2.) Какие предложения непосредственно по составу файлА?

Есть ли, что дополнить по комплекту вида

{стандартные файлы Win} + {нераспространенные standalone exe-шники} ?

Поддерживаю. ИМХО будет достаточно такого комплекта.

3.) Нет ли принципиальных возражений отн-но того, что в под-тесте на ложняки будут фигурировать только exe?

т.е. w/o dll/sys/... и т.д.

У меня нет возражений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS