Сергей Ильин

Тест антивирусов на детектирование упакованных вирусов (подготовка)

В этой теме 224 сообщений

Молодцы! Огромное спасибо!

Интересно, как происходит, что какой-нибудь антивирус неупакованный вирус видит, упаковщик на одном вирусе определяет, а на другом нет...

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Друзья, наконец то, о чем так долго говорилось в этой ветке свершилось!

Мы закончили и выложили наш первый собственный тест антивирусов, разработанный и проведенный в рамках проекта Anti-Malware.ru:

Тест антивирусов на поддержку упаковщиков (08/2006)

Более подробные результаты теста доступны:

В формате HTML

http://www.anti-malware.ru/index.phtml?part=tests

В формате Excel (полная информация по каждому антивирусу и детекшену всех упакованных вредоносов).

http://www.anti-malware.ru/doc/packers_support_08.2006.xls

Ждем ваших отзывов и замечаний :-)

Хороший тест. Хороший и грамотный отчет. Можно использовать в работе.

В будущем хотелось бы увеличения кол-ва пакеров.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Интересно, как происходит, что какой-нибудь антивирус неупакованный вирус видит, упаковщик на одном вирусе определяет, а на другом нет...

Все просто, тут несколько вариантов:

1. Сработала эвристика и обнаружила один вирус, а другой не осилила.

2. Данный вирус (который обнаружился) появлялся In The Wild и антивирусная компания просто добавила его сигнатуру, в том виде, в каком он упакован. А другого вируса не была в природе в таком виде, вследствие чего и no-detect.

По этому в подобном тестировании необходимо использовать не один вирус, а набор, причем разные (черви, вирусы, трояны) - эвристика на всем сработать не сможет ... 8)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Что то мне непонятно почему получились такие результаты (относительно антивируса UNA). А можно файлики на oleg@una.ua кинуть для внутреннего разбора полётов? Будем глядеть что и как.

Заранее спасибо!

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В будущем хотелось бы увеличения кол-ва пакеров.

Кол-во пакеров увеличим.

Замечено, что бы 8 вирусов запаковать 21 упаковщиком и все это проверить на работоспособность (составить табличку и т.п.) - 12 часов непрерывной работы одного человека. :D

Затем тестирование... Самое сложное – разобраться с антивирусом, после его устновки. :wink:

Я бы присудил еще следующие награды (мое мнение):

Самый оригинальный антивирус - UNA (Были моменты, когда не смог сдержать улыбки :) );

Самый непонятный антивирус - AVG (Некоторые задумки разработчиков мне до сих пор не ясны :) ).

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
По этому в подобном тестировании необходимо использовать не один вирус, а набор, причем разные (черви, вирусы, трояны) - эвристика на всем сработать не сможет ...

Это вообще принципиальный момент теста, таким образом мы минимизируем потенциальные ошибки, хотя это значительно добавило работы.

Там в подробнов отчете хорошо видно, как некоторые упакованные вирусы берутся, а другие, упакованные этим же пакером, - нет.

Забыл написать, что подробный отчет доступен также в формате PDF:

http://www.anti-malware.ru/doc/packers_support_08.2006.pdf

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

OlegSych

Кину, только на мой взгляд важнее разобраться с самими упаковщиками, а не запакованными вирусами...

В следующем тесте, если будут тестировать эти пакеры, вирусы будут паковаться совершенно другие.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegSych

Кину, только на мой взгляд важнее разобраться с самими упаковщиками, а не запакованными вирусами...

Вы за кого нас принимаете? Ситуация заключается как раз в том, что из всех использованных упаковщиков мы точно распаковываем FSG, MEW и UPX. Насчёт остальных точно не помню, надо смотреть. Именно поэтому результаты теста мне абсолютно непонятны.

Если в результате проверки выяснится что всё действительно так - значит это внутренний баг который надо лечить (чем и займёмся).

Добавлено спустя 3 минуты 48 секунд:

Самый оригинальный антивирус - UNA (Были моменты, когда не смог сдержать улыбки :) );

Заинтригован.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Заранее извините за оффтоп, можно это переместить в другую тему.

OlegSych

Дизайн антивируса очень веселый. Особенно во время обновления. ;-)

А богатырь с булавой - это прикольно. 8)

Национальный колорит. Новые продукты (выход планируем через 4-5 месяцев) будут уже в привычном всем стиле, рассчёт на западных пользователей. А пока отрабатывали технологии :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ждем ваших отзывов и замечаний

Если учесть, что F-Secure сделан на движке Kaspersky Lab, то в победителях только Kaspersky .. что в общем и не удивительно .. :-)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если учесть, что F-Secure сделан на движке Kaspersky Lab, то в победителях только Kaspersky .. что в общем и не удивительно ..

Да, я в подробном анализе это написал, что по сути победил один движок - Лаборатории Касперского. Но стоит заметить, что BitDefender и DrWeb остали всего не 5% (1 пакер) - копейки, хотя и получили "Серебро".

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Внимательно посмотрел свежие результаты тестирования антивирусов на знание упаковщиков: http://www.anti-malware.ru/doc/packers_support_08.2006.pdf. Заметил неточность. NOD32 не обнаружил Worm.Win32.AimVen, упакованный Petite, и несмотря на это ему присудили 100% знание упаковщика Petite. Таким образом, в соответствии с методологией тестирования, если это не опечатка в таблице результатов, НОД знает не 13 упаковщиков из 21, а лишь 12, что равняется 57% и автоматически лишает Eset награды Silver Packers Support...

Так же мне интересно, какие антивирусы используют только generic-распаковку, а какие - нет. Это, к сожалению, тестами узнать сложно. Например, тот же НОД использует generic-распаковку, и иногда она не справляется даже с UPX, по совершенно непонятной причине... У меня пример есть. Но это я только про НОД знаю, а на самом деле это может быть верно и для других...

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тест несомненно интересный и очень нужный. У меня возник один вопрос. Как определялась популярность упаковщиков?

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Действительно, очень интересный тест, спасибо.

От себя добавлю, что f-secure некоторые упаковщики детектит проактивно http://www.f-secure.com/v-descs/packed.shtml, и как результат ему достаточно понять, что использовался определенный упаковщик, и заблокировать на этой основе. Morphine и Obsidian вполне могут попадать под эту категорию.

Говоря о популярности - в свое время мы делали подобный тест на основе большой базы данных зловредов. Я не помню точные цифры, но на первом месте с большим отрывом был UPX, затем в этом порядке AsPack, FSG, Yoda, PeCompact, Petite, Yoda, MEW и дальше разная мелочь.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

поражают результаты TM и Symantec :puzzled:

Просьба к команде исследователей выложить упакованные образцы

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
поражают результаты TM и Symantec

Просьба к команде исследователей выложить упакованные образцы

Да даже выкладывать ничего не надо, особенно в случае TrendMicro ... Берешь любой вирус, пакуешь (практически любым упаковщиком) и с очень большой вероятностью Trend его не поймает.

По поводу выбора упаковщиков - http://www.anti-malware.ru/index.phtml?par...=packers_choice

Конечно у нас в списке с самого начала было порядка 60 упаковщиков, но первый тест...

Лично наша заслуга во включении Private EXE Protector (который не задетектил никто) в тестирование. Написан качественно имеет интересные фичи, причем постоянно обновляется (уже есть новая версия).

Причем, когда проверяли экземпляры на работоспособность было замечено, что многие вирусы клонируют себя пакованными... :shock:

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
От себя добавлю, что f-secure некоторые упаковщики детектит проактивно http://www.f-secure.com/v-descs/packed.shtml, и как результат ему достаточно понять, что использовался определенный упаковщик, и заблокировать на этой основе.

Это не так :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Друзья, наконец то, о чем так долго говорилось в этой ветке свершилось!

Мы закончили и выложили наш первый собственный тест антивирусов, разработанный и проведенный в рамках проекта Anti-Malware.ru:

...

Ждем ваших отзывов и замечаний :-)

Спасибо, интересный тест.

Хотелось бы прокомментировать результаты VBA32. Как видно в таблице, промахи детектирования преимущественно сгруппированы как по горизонтальным строкам, так и по вертикальным столбцам. Промахи сгруппированные по горизонтали - проблема с распаковкой. Промахи по вертикали - неудачная запись детектирования, которая не обязательно сигнализирует о проблемах с распаковкой. Например, Worm.Win32.AimVen детектируется только в исходном неупакованном варианте, нам еще повезло, что при упаковке его с помощью Yoda Protector получился неработоспособный вариант. Если исключить даного червя из тестирования, статистика радикальным образом поменяется. Причем аналогичная картина прослеживается в целом и для многих остальных антивирусов.

В том виде, в котором проведено данное тестирование, финальные результаты получаются довольно странными и неоднозначными. В частности, можно сделать вывод, что VBA32 не знает UPX (с ним уж точно никаких проблем быть не должно) и уступает по знанию упаковщиков ClamAV.

В общем есть предложение в следующем тестировании применить некую вариацию "олимпийской" системы оценки, т.е. для каждого антивируса исключить 1 сэмпл, упаковка которого дает самый худший результат (хотя в данном тесте для Symantec попалось целых 2 неудачных сэмпла, которые радикальным образом выбиваются из общей картины). Неудачный файл можно подобрать для любого антивируса, в том числе и для KAV, и это не показатель качества именно распаковки (хотя, конечно, лучше бы таких файлов не было).

Да, и еще, в отчете упоминается очень странная версия VBA32 3.1 (такой не существует), хотелось бы уточнить, где она бралась и насколько свежая, т.е. какой у нее реальный номер. Если вам для тестирования нужна нормальная полнофункциональная версия VBA32, свяжитесь с нами, без проблем сделаем вам ключ :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Семашко, спасибо за комментарии по тесту, это очень ценно для нас. Будем думать, возможно в будущих тестах будем корректировать методику подсчета итоговых результатов.

Да, и еще, в отчете упоминается очень странная версия VBA32 3.1 (такой не существует), хотелось бы уточнить, где она бралась и насколько свежая, т.е. какой у нее реальный номер. Если вам для тестирования нужна нормальная полнофункциональная версия VBA32, свяжитесь с нами, без проблем сделаем вам ключ

Тестировалась версия VBA32 3.11, вторую единичку не дописали, поправим. За ключик спасибо, обязательно поспользуемся предложением.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Уже решено, что следующий тест будет проводиться с фиксацией того, как антивирус поймал вирус - по эвристике или дженерик.

Я думаю, это сразу многое прояснит ...

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ведь никто не задумывается о том, что фактически это один большой список багов, наличие которых может привести к любым последствиям.

преславутая палка о двух концах, представляете сколько скрипт киддеров возьмут этот ресёч на вооружение.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Думается мне, что достаточно тестов было, есть и будет, из которых скрипт-киддеры могут черпануть информацию. Не зря одним из базовых принципов информационной безопасности является предположение-аксиома о том, что любая дыра известна всем, кому надо =)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
преславутая палка о двух концах, представляете сколько скрипт киддеров возьмут этот ресёч на вооружение.

Скрипткиддеры как раз не представляют сейчас проблему. А профи все это так давно известно ..

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти

Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • В данной статье рассматривается платформа JaCarta, поддерживающая технологии электронной подписи и строгой аутентификации, приводится краткий обзор продуктов и описание принципов их работы. Читать далее
    • santy Как по мне, так разница тотальная.
      Одно дело мониторинг по умолчанию - ( как функция ) другое дело, мониторинг по требованию.
      Не нужен - не делай настройку и не используй. Не раз уже такие случаи в истории были: появляется новый вирус\червь и начинает прыгать по сети.
      А в базе антивируса он может появиться на следующий день, или ещё позже.
      А может система безопасности не предполагает наличие антивируса.
      А так: выявили > прикончили и для профилактики включили проверку машины через задачу.    
    • И хорошо, что этого нет, поскольку uVS не предназначен для мониторинга.
    • Vitokhv На данный момент это возможно только в альтернативно реальности Варкрафт.
      И там это работает так: Оператор добавляет сигнатуру вируса в базу > Проверяет список, при необходимости корректирует длину сигнатуру
      Настраивает австоскрипт: settings.ini  ( как реагировать на угрозу и метод удаления )
      Далее...
      Оператор добавляет uVS \ start.exe в автозапуск системы.
      При старте uVS автоматически определяет  тип своего запуска ( например start.exe через задачу )
      Далее работает настройка по settings.ini  ( при запуске через task проверять список по базе вирусов и критериев )
      После чего работает ранее настроенный австоскрипт: settings.ini  ( реакция  на угрозу и метод удаления )
      Вирус/Adware удаляется - копия угрозы помещается в карантин.
      Информация об угрозе пишется в лог. ( + копия лога пересылается на указанный в настройке адрес ) ------ А в нашем мире этого ничего нет.