Перейти к содержанию
Сергей Ильин

Тест антивирусов на детектирование упакованных вирусов (подготовка)

Recommended Posts

Phoenix

Молодцы! Огромное спасибо!

Интересно, как происходит, что какой-нибудь антивирус неупакованный вирус видит, упаковщик на одном вирусе определяет, а на другом нет...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Друзья, наконец то, о чем так долго говорилось в этой ветке свершилось!

Мы закончили и выложили наш первый собственный тест антивирусов, разработанный и проведенный в рамках проекта Anti-Malware.ru:

Тест антивирусов на поддержку упаковщиков (08/2006)

Более подробные результаты теста доступны:

В формате HTML

http://www.anti-malware.ru/index.phtml?part=tests

В формате Excel (полная информация по каждому антивирусу и детекшену всех упакованных вредоносов).

http://www.anti-malware.ru/doc/packers_support_08.2006.xls

Ждем ваших отзывов и замечаний :-)

Хороший тест. Хороший и грамотный отчет. Можно использовать в работе.

В будущем хотелось бы увеличения кол-ва пакеров.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
Интересно, как происходит, что какой-нибудь антивирус неупакованный вирус видит, упаковщик на одном вирусе определяет, а на другом нет...

Все просто, тут несколько вариантов:

1. Сработала эвристика и обнаружила один вирус, а другой не осилила.

2. Данный вирус (который обнаружился) появлялся In The Wild и антивирусная компания просто добавила его сигнатуру, в том виде, в каком он упакован. А другого вируса не была в природе в таком виде, вследствие чего и no-detect.

По этому в подобном тестировании необходимо использовать не один вирус, а набор, причем разные (черви, вирусы, трояны) - эвристика на всем сработать не сможет ... 8)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych

Что то мне непонятно почему получились такие результаты (относительно антивируса UNA). А можно файлики на oleg@una.ua кинуть для внутреннего разбора полётов? Будем глядеть что и как.

Заранее спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
В будущем хотелось бы увеличения кол-ва пакеров.

Кол-во пакеров увеличим.

Замечено, что бы 8 вирусов запаковать 21 упаковщиком и все это проверить на работоспособность (составить табличку и т.п.) - 12 часов непрерывной работы одного человека. :D

Затем тестирование... Самое сложное – разобраться с антивирусом, после его устновки. :wink:

Я бы присудил еще следующие награды (мое мнение):

Самый оригинальный антивирус - UNA (Были моменты, когда не смог сдержать улыбки :) );

Самый непонятный антивирус - AVG (Некоторые задумки разработчиков мне до сих пор не ясны :) ).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
По этому в подобном тестировании необходимо использовать не один вирус, а набор, причем разные (черви, вирусы, трояны) - эвристика на всем сработать не сможет ...

Это вообще принципиальный момент теста, таким образом мы минимизируем потенциальные ошибки, хотя это значительно добавило работы.

Там в подробнов отчете хорошо видно, как некоторые упакованные вирусы берутся, а другие, упакованные этим же пакером, - нет.

Забыл написать, что подробный отчет доступен также в формате PDF:

http://www.anti-malware.ru/doc/packers_support_08.2006.pdf

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

OlegSych

Кину, только на мой взгляд важнее разобраться с самими упаковщиками, а не запакованными вирусами...

В следующем тесте, если будут тестировать эти пакеры, вирусы будут паковаться совершенно другие.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych
OlegSych

Кину, только на мой взгляд важнее разобраться с самими упаковщиками, а не запакованными вирусами...

Вы за кого нас принимаете? Ситуация заключается как раз в том, что из всех использованных упаковщиков мы точно распаковываем FSG, MEW и UPX. Насчёт остальных точно не помню, надо смотреть. Именно поэтому результаты теста мне абсолютно непонятны.

Если в результате проверки выяснится что всё действительно так - значит это внутренний баг который надо лечить (чем и займёмся).

Добавлено спустя 3 минуты 48 секунд:

Самый оригинальный антивирус - UNA (Были моменты, когда не смог сдержать улыбки :) );

Заинтригован.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

OlegSych

Дизайн антивируса очень веселый. Особенно во время обновления. ;-)

А богатырь с булавой - это прикольно. 8)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych

Заранее извините за оффтоп, можно это переместить в другую тему.

OlegSych

Дизайн антивируса очень веселый. Особенно во время обновления. ;-)

А богатырь с булавой - это прикольно. 8)

Национальный колорит. Новые продукты (выход планируем через 4-5 месяцев) будут уже в привычном всем стиле, рассчёт на западных пользователей. А пока отрабатывали технологии :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nones
Ждем ваших отзывов и замечаний

Если учесть, что F-Secure сделан на движке Kaspersky Lab, то в победителях только Kaspersky .. что в общем и не удивительно .. :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Если учесть, что F-Secure сделан на движке Kaspersky Lab, то в победителях только Kaspersky .. что в общем и не удивительно ..

Да, я в подробном анализе это написал, что по сути победил один движок - Лаборатории Касперского. Но стоит заметить, что BitDefender и DrWeb остали всего не 5% (1 пакер) - копейки, хотя и получили "Серебро".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Внимательно посмотрел свежие результаты тестирования антивирусов на знание упаковщиков: http://www.anti-malware.ru/doc/packers_support_08.2006.pdf. Заметил неточность. NOD32 не обнаружил Worm.Win32.AimVen, упакованный Petite, и несмотря на это ему присудили 100% знание упаковщика Petite. Таким образом, в соответствии с методологией тестирования, если это не опечатка в таблице результатов, НОД знает не 13 упаковщиков из 21, а лишь 12, что равняется 57% и автоматически лишает Eset награды Silver Packers Support...

Так же мне интересно, какие антивирусы используют только generic-распаковку, а какие - нет. Это, к сожалению, тестами узнать сложно. Например, тот же НОД использует generic-распаковку, и иногда она не справляется даже с UPX, по совершенно непонятной причине... У меня пример есть. Но это я только про НОД знаю, а на самом деле это может быть верно и для других...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Каимся! Наш косяк с НОДом ... :(

Сейчас поправим.

Первый тест, большой объем - не заметили спрятавшегося NO ... :shock:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice

Тест несомненно интересный и очень нужный. У меня возник один вопрос. Как определялась популярность упаковщиков?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
romank

Действительно, очень интересный тест, спасибо.

От себя добавлю, что f-secure некоторые упаковщики детектит проактивно http://www.f-secure.com/v-descs/packed.shtml, и как результат ему достаточно понять, что использовался определенный упаковщик, и заблокировать на этой основе. Morphine и Obsidian вполне могут попадать под эту категорию.

Говоря о популярности - в свое время мы делали подобный тест на основе большой базы данных зловредов. Я не помню точные цифры, но на первом месте с большим отрывом был UPX, затем в этом порядке AsPack, FSG, Yoda, PeCompact, Petite, Yoda, MEW и дальше разная мелочь.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

поражают результаты TM и Symantec :puzzled:

Просьба к команде исследователей выложить упакованные образцы

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко
поражают результаты TM и Symantec

Просьба к команде исследователей выложить упакованные образцы

Да даже выкладывать ничего не надо, особенно в случае TrendMicro ... Берешь любой вирус, пакуешь (практически любым упаковщиком) и с очень большой вероятностью Trend его не поймает.

По поводу выбора упаковщиков - http://www.anti-malware.ru/index.phtml?par...=packers_choice

Конечно у нас в списке с самого начала было порядка 60 упаковщиков, но первый тест...

Лично наша заслуга во включении Private EXE Protector (который не задетектил никто) в тестирование. Написан качественно имеет интересные фичи, причем постоянно обновляется (уже есть новая версия).

Причем, когда проверяли экземпляры на работоспособность было замечено, что многие вирусы клонируют себя пакованными... :shock:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
От себя добавлю, что f-secure некоторые упаковщики детектит проактивно http://www.f-secure.com/v-descs/packed.shtml, и как результат ему достаточно понять, что использовался определенный упаковщик, и заблокировать на этой основе.

Это не так :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Семашко
Друзья, наконец то, о чем так долго говорилось в этой ветке свершилось!

Мы закончили и выложили наш первый собственный тест антивирусов, разработанный и проведенный в рамках проекта Anti-Malware.ru:

...

Ждем ваших отзывов и замечаний :-)

Спасибо, интересный тест.

Хотелось бы прокомментировать результаты VBA32. Как видно в таблице, промахи детектирования преимущественно сгруппированы как по горизонтальным строкам, так и по вертикальным столбцам. Промахи сгруппированные по горизонтали - проблема с распаковкой. Промахи по вертикали - неудачная запись детектирования, которая не обязательно сигнализирует о проблемах с распаковкой. Например, Worm.Win32.AimVen детектируется только в исходном неупакованном варианте, нам еще повезло, что при упаковке его с помощью Yoda Protector получился неработоспособный вариант. Если исключить даного червя из тестирования, статистика радикальным образом поменяется. Причем аналогичная картина прослеживается в целом и для многих остальных антивирусов.

В том виде, в котором проведено данное тестирование, финальные результаты получаются довольно странными и неоднозначными. В частности, можно сделать вывод, что VBA32 не знает UPX (с ним уж точно никаких проблем быть не должно) и уступает по знанию упаковщиков ClamAV.

В общем есть предложение в следующем тестировании применить некую вариацию "олимпийской" системы оценки, т.е. для каждого антивируса исключить 1 сэмпл, упаковка которого дает самый худший результат (хотя в данном тесте для Symantec попалось целых 2 неудачных сэмпла, которые радикальным образом выбиваются из общей картины). Неудачный файл можно подобрать для любого антивируса, в том числе и для KAV, и это не показатель качества именно распаковки (хотя, конечно, лучше бы таких файлов не было).

Да, и еще, в отчете упоминается очень странная версия VBA32 3.1 (такой не существует), хотелось бы уточнить, где она бралась и насколько свежая, т.е. какой у нее реальный номер. Если вам для тестирования нужна нормальная полнофункциональная версия VBA32, свяжитесь с нами, без проблем сделаем вам ключ :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Сергей Семашко, спасибо за комментарии по тесту, это очень ценно для нас. Будем думать, возможно в будущих тестах будем корректировать методику подсчета итоговых результатов.

Да, и еще, в отчете упоминается очень странная версия VBA32 3.1 (такой не существует), хотелось бы уточнить, где она бралась и насколько свежая, т.е. какой у нее реальный номер. Если вам для тестирования нужна нормальная полнофункциональная версия VBA32, свяжитесь с нами, без проблем сделаем вам ключ

Тестировалась версия VBA32 3.11, вторую единичку не дописали, поправим. За ключик спасибо, обязательно поспользуемся предложением.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Терещенко

Уже решено, что следующий тест будет проводиться с фиксацией того, как антивирус поймал вирус - по эвристике или дженерик.

Я думаю, это сразу многое прояснит ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
broker

ведь никто не задумывается о том, что фактически это один большой список багов, наличие которых может привести к любым последствиям.

преславутая палка о двух концах, представляете сколько скрипт киддеров возьмут этот ресёч на вооружение.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Думается мне, что достаточно тестов было, есть и будет, из которых скрипт-киддеры могут черпануть информацию. Не зря одним из базовых принципов информационной безопасности является предположение-аксиома о том, что любая дыра известна всем, кому надо =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
nones
преславутая палка о двух концах, представляете сколько скрипт киддеров возьмут этот ресёч на вооружение.

Скрипткиддеры как раз не представляют сейчас проблему. А профи все это так давно известно ..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×