Тест антивирусов на детектирование упакованных вирусов (подготовка)

[Phoenix 0]

Молодцы! Огромное спасибо!

Интересно, как происходит, что какой-нибудь антивирус неупакованный вирус видит, упаковщик на одном вирусе определяет, а на другом нет...

[_Stout 131]

Друзья, наконец то, о чем так долго говорилось в этой ветке свершилось!

Мы закончили и выложили наш первый собственный тест антивирусов, разработанный и проведенный в рамках проекта Anti-Malware.ru:

Тест антивирусов на поддержку упаковщиков (08/2006)

Более подробные результаты теста доступны:

В формате HTML

http://www.anti-malware.ru/index.phtml?part=tests

В формате Excel (полная информация по каждому антивирусу и детекшену всех упакованных вредоносов).

http://www.anti-malware.ru/doc/packers_support_08.2006.xls

Ждем ваших отзывов и замечаний :-)

Хороший тест. Хороший и грамотный отчет. Можно использовать в работе.

В будущем хотелось бы увеличения кол-ва пакеров.

[Николай Терещенко 0]

Интересно, как происходит, что какой-нибудь антивирус неупакованный вирус видит, упаковщик на одном вирусе определяет, а на другом нет...

Все просто, тут несколько вариантов:

1. Сработала эвристика и обнаружила один вирус, а другой не осилила.

2. Данный вирус (который обнаружился) появлялся In The Wild и антивирусная компания просто добавила его сигнатуру, в том виде, в каком он упакован. А другого вируса не была в природе в таком виде, вследствие чего и no-detect.

По этому в подобном тестировании необходимо использовать не один вирус, а набор, причем разные (черви, вирусы, трояны) - эвристика на всем сработать не сможет ... 8)

[OlegSych 40]

Что то мне непонятно почему получились такие результаты (относительно антивируса UNA). А можно файлики на oleg@una.ua кинуть для внутреннего разбора полётов? Будем глядеть что и как.

Заранее спасибо!

[Николай Терещенко 0]

В будущем хотелось бы увеличения кол-ва пакеров.

Кол-во пакеров увеличим.

Замечено, что бы 8 вирусов запаковать 21 упаковщиком и все это проверить на работоспособность (составить табличку и т.п.) - 12 часов непрерывной работы одного человека.

Затем тестирование... Самое сложное – разобраться с антивирусом, после его устновки. :wink:

Я бы присудил еще следующие награды (мое мнение):

Самый оригинальный антивирус - UNA (Были моменты, когда не смог сдержать улыбки );

Самый непонятный антивирус - AVG (Некоторые задумки разработчиков мне до сих пор не ясны ).

[Сергей Ильин 1538]

По этому в подобном тестировании необходимо использовать не один вирус, а набор, причем разные (черви, вирусы, трояны) - эвристика на всем сработать не сможет ...

Это вообще принципиальный момент теста, таким образом мы минимизируем потенциальные ошибки, хотя это значительно добавило работы.

Там в подробнов отчете хорошо видно, как некоторые упакованные вирусы берутся, а другие, упакованные этим же пакером, - нет.

Забыл написать, что подробный отчет доступен также в формате PDF:

http://www.anti-malware.ru/doc/packers_support_08.2006.pdf

[Николай Терещенко 0]

OlegSych

Кину, только на мой взгляд важнее разобраться с самими упаковщиками, а не запакованными вирусами...

В следующем тесте, если будут тестировать эти пакеры, вирусы будут паковаться совершенно другие.

[OlegSych 40]

OlegSych

Кину, только на мой взгляд важнее разобраться с самими упаковщиками, а не запакованными вирусами...

Вы за кого нас принимаете? Ситуация заключается как раз в том, что из всех использованных упаковщиков мы точно распаковываем FSG, MEW и UPX. Насчёт остальных точно не помню, надо смотреть. Именно поэтому результаты теста мне абсолютно непонятны.

Если в результате проверки выяснится что всё действительно так - значит это внутренний баг который надо лечить (чем и займёмся).

Добавлено спустя 3 минуты 48 секунд:

Самый оригинальный антивирус - UNA (Были моменты, когда не смог сдержать улыбки );

Заинтригован.

[Николай Терещенко 0]

OlegSych

Дизайн антивируса очень веселый. Особенно во время обновления. ;-)

А богатырь с булавой - это прикольно. 8)

[OlegSych 40]

Заранее извините за оффтоп, можно это переместить в другую тему.

OlegSych

Дизайн антивируса очень веселый. Особенно во время обновления. ;-)

А богатырь с булавой - это прикольно. 8)

Национальный колорит. Новые продукты (выход планируем через 4-5 месяцев) будут уже в привычном всем стиле, рассчёт на западных пользователей. А пока отрабатывали технологии

[nones 5]

Ждем ваших отзывов и замечаний

Если учесть, что F-Secure сделан на движке Kaspersky Lab, то в победителях только Kaspersky .. что в общем и не удивительно .. :-)

[Сергей Ильин 1538]

Если учесть, что F-Secure сделан на движке Kaspersky Lab, то в победителях только Kaspersky .. что в общем и не удивительно ..

Да, я в подробном анализе это написал, что по сути победил один движок - Лаборатории Касперского. Но стоит заметить, что BitDefender и DrWeb остали всего не 5% (1 пакер) - копейки, хотя и получили "Серебро".

[Dmitry Perets 30]

Внимательно посмотрел свежие результаты тестирования антивирусов на знание упаковщиков: http://www.anti-malware.ru/doc/packers_support_08.2006.pdf. Заметил неточность. NOD32 не обнаружил Worm.Win32.AimVen, упакованный Petite, и несмотря на это ему присудили 100% знание упаковщика Petite. Таким образом, в соответствии с методологией тестирования, если это не опечатка в таблице результатов, НОД знает не 13 упаковщиков из 21, а лишь 12, что равняется 57% и автоматически лишает Eset награды Silver Packers Support...

Так же мне интересно, какие антивирусы используют только generic-распаковку, а какие - нет. Это, к сожалению, тестами узнать сложно. Например, тот же НОД использует generic-распаковку, и иногда она не справляется даже с UPX, по совершенно непонятной причине... У меня пример есть. Но это я только про НОД знаю, а на самом деле это может быть верно и для других...

[Николай Терещенко 0]

Каимся! Наш косяк с НОДом ...

Сейчас поправим.

Первый тест, большой объем - не заметили спрятавшегося NO ... :shock:

[Mr. Justice 771]

Тест несомненно интересный и очень нужный. У меня возник один вопрос. Как определялась популярность упаковщиков?

[romank 0]

Действительно, очень интересный тест, спасибо.

От себя добавлю, что f-secure некоторые упаковщики детектит проактивно http://www.f-secure.com/v-descs/packed.shtml, и как результат ему достаточно понять, что использовался определенный упаковщик, и заблокировать на этой основе. Morphine и Obsidian вполне могут попадать под эту категорию.

Говоря о популярности - в свое время мы делали подобный тест на основе большой базы данных зловредов. Я не помню точные цифры, но на первом месте с большим отрывом был UPX, затем в этом порядке AsPack, FSG, Yoda, PeCompact, Petite, Yoda, MEW и дальше разная мелочь.

[broker 30]

поражают результаты TM и Symantec :puzzled:

Просьба к команде исследователей выложить упакованные образцы

[Николай Терещенко 0]

поражают результаты TM и Symantec

Просьба к команде исследователей выложить упакованные образцы

Да даже выкладывать ничего не надо, особенно в случае TrendMicro ... Берешь любой вирус, пакуешь (практически любым упаковщиком) и с очень большой вероятностью Trend его не поймает.

По поводу выбора упаковщиков - http://www.anti-malware.ru/index.phtml?par...=packers_choice

Конечно у нас в списке с самого начала было порядка 60 упаковщиков, но первый тест...

Лично наша заслуга во включении Private EXE Protector (который не задетектил никто) в тестирование. Написан качественно имеет интересные фичи, причем постоянно обновляется (уже есть новая версия).

Причем, когда проверяли экземпляры на работоспособность было замечено, что многие вирусы клонируют себя пакованными... :shock:

[A. 876]

От себя добавлю, что f-secure некоторые упаковщики детектит проактивно http://www.f-secure.com/v-descs/packed.shtml, и как результат ему достаточно понять, что использовался определенный упаковщик, и заблокировать на этой основе.

Это не так

[Сергей Семашко 0]

Друзья, наконец то, о чем так долго говорилось в этой ветке свершилось!

Мы закончили и выложили наш первый собственный тест антивирусов, разработанный и проведенный в рамках проекта Anti-Malware.ru:

...

Ждем ваших отзывов и замечаний :-)

Спасибо, интересный тест.

Хотелось бы прокомментировать результаты VBA32. Как видно в таблице, промахи детектирования преимущественно сгруппированы как по горизонтальным строкам, так и по вертикальным столбцам. Промахи сгруппированные по горизонтали - проблема с распаковкой. Промахи по вертикали - неудачная запись детектирования, которая не обязательно сигнализирует о проблемах с распаковкой. Например, Worm.Win32.AimVen детектируется только в исходном неупакованном варианте, нам еще повезло, что при упаковке его с помощью Yoda Protector получился неработоспособный вариант. Если исключить даного червя из тестирования, статистика радикальным образом поменяется. Причем аналогичная картина прослеживается в целом и для многих остальных антивирусов.

В том виде, в котором проведено данное тестирование, финальные результаты получаются довольно странными и неоднозначными. В частности, можно сделать вывод, что VBA32 не знает UPX (с ним уж точно никаких проблем быть не должно) и уступает по знанию упаковщиков ClamAV.

В общем есть предложение в следующем тестировании применить некую вариацию "олимпийской" системы оценки, т.е. для каждого антивируса исключить 1 сэмпл, упаковка которого дает самый худший результат (хотя в данном тесте для Symantec попалось целых 2 неудачных сэмпла, которые радикальным образом выбиваются из общей картины). Неудачный файл можно подобрать для любого антивируса, в том числе и для KAV, и это не показатель качества именно распаковки (хотя, конечно, лучше бы таких файлов не было).

Да, и еще, в отчете упоминается очень странная версия VBA32 3.1 (такой не существует), хотелось бы уточнить, где она бралась и насколько свежая, т.е. какой у нее реальный номер. Если вам для тестирования нужна нормальная полнофункциональная версия VBA32, свяжитесь с нами, без проблем сделаем вам ключ

[Сергей Ильин 1538]

Сергей Семашко, спасибо за комментарии по тесту, это очень ценно для нас. Будем думать, возможно в будущих тестах будем корректировать методику подсчета итоговых результатов.

Да, и еще, в отчете упоминается очень странная версия VBA32 3.1 (такой не существует), хотелось бы уточнить, где она бралась и насколько свежая, т.е. какой у нее реальный номер. Если вам для тестирования нужна нормальная полнофункциональная версия VBA32, свяжитесь с нами, без проблем сделаем вам ключ

Тестировалась версия VBA32 3.11, вторую единичку не дописали, поправим. За ключик спасибо, обязательно поспользуемся предложением.

[Николай Терещенко 0]

Уже решено, что следующий тест будет проводиться с фиксацией того, как антивирус поймал вирус - по эвристике или дженерик.

Я думаю, это сразу многое прояснит ...

[broker 30]

ведь никто не задумывается о том, что фактически это один большой список багов, наличие которых может привести к любым последствиям.

преславутая палка о двух концах, представляете сколько скрипт киддеров возьмут этот ресёч на вооружение.

[Dmitry Perets 30]

Думается мне, что достаточно тестов было, есть и будет, из которых скрипт-киддеры могут черпануть информацию. Не зря одним из базовых принципов информационной безопасности является предположение-аксиома о том, что любая дыра известна всем, кому надо =)

[nones 5]

преславутая палка о двух концах, представляете сколько скрипт киддеров возьмут этот ресёч на вооружение.

Скрипткиддеры как раз не представляют сейчас проблему. А профи все это так давно известно ..