Сергей Ильин

Тест антивирусов на детектирование упакованных вирусов (подготовка)

В этой теме 224 сообщений

А чем вызвана такая разница в результатах

между последним тестированием и вот этим:

http://www.antimalware.ru/index.phtml?part...&anid=packs

В предыдущем тестировании NOD32 распознавал 5% упаковщиков,

а в этом 57-62%

В чем же причина ?

То же касается и Symantec, McAfee

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Может там тестировали на 1 сампле?!

Или версии были старыми и их подкрутили?!

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я так понял, что Private EXE Protector не угадал никто.

Возможно, это и правильно - private на то и private, а не public.

Вот только непонятно - с чего вы решили, что им хоть кто-то пользуется для упаковки своих червей или троянов?

А если паковать самодельным криптером, то не будет находить ни одна программа. Но должен ли антивирус знать ВСЕ самодельные криптеры? Вот в чем вопрос.

Резюмируя, скажу что использование Private EXE Protector в тестах было абсолютно не оправданно. Откуда он вообще взялся? Вероятно, это продукт кого-то с форума.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В предыдущем тестировании NOD32 распознавал 5% упаковщиков,

а в этом 57-62%

В чем же причина ?

То же касается и Symantec, McAfee

там тестировалось на одном вредоносе, поэтому была велика вероятность завышения результатов по некоторым антивирусам. Что касается Нода, то они реально хорошо поработали в этом направлении, собственно наш тест это и показывает.

Я так понял, что Private EXE Protector не угадал никто.

Да, все верно, его никто не взял, но это тоже интересно само по себе :) Одной из целей этого теста было показать, что для осуществления атаки не обязательно писать вредонос, достаточно упаковать "правильным" пакером уже готовый и отправить его жертве, при этом антивирус будет молчать.

В будущем тесте мы планируем еще расширить количество упаковщиков, возможно результаты некоторых антивиурсов от это могут ухудшиться.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я так понял, что Private EXE Protector не угадал никто.

Возможно, это и правильно - private на то и private, а не public.

Вот только непонятно - с чего вы решили, что им хоть кто-то пользуется для упаковки своих червей или троянов?...

Вы действительно считаете, что им никто не пользуется ? :)

Весьма наивно...

Резюмируя, скажу что использование Private EXE Protector в тестах было абсолютно не оправданно...

Ну конечно же, нужно тестировать только на распространенных упаковщиках, да ?

Использование при тестировании нераспрастранненых видов

упаковщиков, позволяет выявить истинный уровень безопасности,

который обеспечивает антивирус.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ну конечно же, нужно тестировать только на распространенных упаковщиках, да ?

Использование при тестировании нераспрастранненых видов

упаковщиков, позволяет выявить истинный уровень безопасности,

который обеспечивает антивирус.

в современном мире никто не почешется, чтобы добавить какой-то непонятный упаковщик в базы, до тех пор пока не встретится зараза им упакованная.

авторы антивирусов не привыкли работать на опережение. известны случаи, когда АВ детектирует трояна только "в оригинальной упаковке", т.е. взяв сигнатуру/хеш из упакованного кода. правильно ли это? нет. но практика пока именно такова.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вообще я неожидал что такие бренды как

McAfee VirusScan 2006 (10%)

Panda Platinum Internet Security 2006 (5%)

Symantec Norton AntiVirus 2006 (5%)

настолько плохо себя покажут был немного лучшего о них мнения...

сильно разачерован результатами..

avast! Professional Edition 4.7 (5%)

очень симпотична мне компания...

dr.web наоборот удивил (нехочу обижать пользователей dr.web и их работников) но об этом вендоре было неочень хорошее мнение..

От касперского я другого и неожидал вообщем-то...

Спасибо проводившем тест, очень интересно было...

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
сильно разачерован результатами..

avast! Professional Edition 4.7 (5%)

очень симпотична мне компания...

У avast очень даже хорошие результаты. Загляните в таблицу с подробным отчетом тестирования, все увидите сами:

http://www.anti-malware.ru/doc/packers_support_08.2006.pdf

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
У avast очень даже хорошие результаты. Загляните в таблицу с подробным отчетом тестирования, все увидите сами

Но на Backdoor.Win32.BO_Installer и Trojan-Clicker.Win32.Getfound он реально облажался, поэтому и результат у него низкий.

Конечно можно сказать, что мол без этих двух вредоносов процент у него был бы на порядок выше, но где гарантия, что на других вредоносах не произойдет тоже самое?

Мы ведь выбирали семплы случайным образом, и теперь ясно, что с точки зрения пользователя на некоторых вредоносах с распаковщиками у него проблема.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

сильно разачерован результатами..

avast! Professional Edition 4.7 (5%)

очень симпотична мне компания...

У avast очень даже хорошие результаты. Загляните в таблицу с подробным отчетом тестирования, все увидите сами:

http://www.anti-malware.ru/doc/packers_support_08.2006.pdf

Пардон, я что по вашему просто так говорю, от балды (читал я это)

это не есть нормальный результат с точки зрения безопасности..

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Приятно, что появился ещё один человек на форуме из Беларуси - Сергей Семашко :)

Хотелось бы прокомментировать результаты VBA32. Как видно в таблице, промахи детектирования преимущественно сгруппированы как по горизонтальным строкам, так и по вертикальным столбцам. Промахи сгруппированные по горизонтали - проблема с распаковкой. Промахи по вертикали - неудачная запись детектирования, которая не обязательно сигнализирует о проблемах с распаковкой. Например, Worm.Win32.AimVen детектируется только в исходном неупакованном варианте, нам еще повезло, что при упаковке его с помощью Yoda Protector получился неработоспособный вариант. Если исключить даного червя из тестирования, статистика радикальным образом поменяется. Причем аналогичная картина прослеживается в целом и для многих остальных антивирусов.

Но, если посмотреть на Касперского,DrWeb (исключая Бэгля с Пакманом)-то они прекрасно детектят по вертикали. Значит они лучше сигнатуру подбирают :)

Кстати, это не только тест антивирусов, но и пакеров - из Virus Packing Table отчетливо выделяются 3 пакера, после паковки которыми все вирусы остаются работоспособными.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Хочу вынести на суд общественность одну мысль.

В данном тесте, мы при одном несрабатывании пакера на каком-то семпле, считали, что пакер в продукте не поддерживается должным образом продукта - Fail.

Но вероятность ошибки или вернее несрабатывания есть так или иначе всегда. Так может быть стоит задать какой-то порог, например, не 100% детекта, а скажем - 95%?

Просто может получиться, что если взять не 20, а 1000 семплов, то 100% детекта упакованных может не получить никто.

Но с другой стороны, с точки зрения логики и безопасности пользователя, это не правильно, т.к. понятно, что при одном несрабатывании пакера на случайном семпле, найдутся еще N, на которых оно тоже не сработает.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Резюмируя, скажу что использование Private EXE Protector в тестах было абсолютно не оправданно.
Кстати, автор протектора заявляет, что ни один АВ никогда не будет детектить файлы сжатые этим пакером:

http://www.setisoft.com/nforum/viewtopic.php?p=384#384

http://www.setisoft.com/nforum/viewtopic.php?p=482#482

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Хочу вынести на суд общественность одну мысль.

В данном тесте, мы при одном несрабатывании пакера на каком-то семпле, считали, что пакер в продукте не поддерживается должным образом продукта - Fail.

Но вероятность ошибки или вернее несрабатывания есть так или иначе всегда. Так может быть стоит задать какой-то порог, например, не 100% детекта, а скажем - 95%?

Вполне разумно.

Просто может получиться, что если взять не 20, а 1000 семплов, то 100% детекта упакованных может не получить никто.

Cкорее всего именно так и будет. Например, можно взять файл, инфицированный не так давно нашумевшим Win32.Polipos, запаковать его и посмотреть результаты. Кто именно из получивших награды "влетит" на этом сэмпле, говорить не буду, поскольку к самим антивирусам это мало относится, а больше к методике подведения финальных итогов теста. Если интересно, можете проверить сами.

Объяснение простое. При упаковке очень часто часть информации безвозвратно теряется (например, информация о секциях) и полностью восстановить исходный файл в первоначальное состояние при распаковке уже невозможно. Если антивирус при детектировании по какой-то причине полагается на информацию, которая была потеряна при упаковке, даже в случае успешной распаковки зловред может быть не найден. Это не есть хорошо, с этим можно и нужно бороться путем коррекции записей для детектирования, но к именно распаковке отношение тут косвенное.

Получается, что добавление дополнительных сэмплов в тестовый набор напоминает игру в русскую рулетку, кому не повезет, у того результаты падают практически до нуля. В идеале при увеличении объема выборки, точность эксперимента должна увеличиваться. Тут же наоборот, финальная статистика получается неустойчивой и очень сильно зависит от выбранных сэмплов.

Но с другой стороны, с точки зрения логики и безопасности пользователя, это не правильно, т.к. понятно, что при одном несрабатывании пакера на случайном семпле, найдутся еще N, на которых оно тоже не сработает.

Если с точки зрения логики посмотреть на результаты того же avast, то получится следующее: даже не смотря на явный провал на двух сэмплах, он смог обнаружить вирусы в более, чем половине упакованных файлов, это несколько не стыкуется с финальными выводами о 5% поддержке упаковщиков.

А целом, тест производит очень хорошее впечатление, бралось много сэмплов, проверялась их работоспособность после упаковки. IMHO не хватило совсем чуть чуть. Но, надеюсь, это не последнее такое тестирование.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Получается, что добавление дополнительных сэмплов в тестовый набор напоминает игру в русскую рулетку, кому не повезет, у того результаты падают практически до нуля. В идеале при увеличении объема выборки, точность эксперимента должна увеличиваться. Тут же наоборот, финальная статистика получается неустойчивой и очень сильно зависит от выбранных сэмплов.

Верно, получается, что все таки нужно закладывать допустимый уровень ошибки (а ошибки скорее всего на большой выборке вредоносов будут у всех).

IMHO не хватило совсем чуть чуть. Но, надеюсь, это не последнее такое тестирование.

Точно не последнее, сейчас важно доработать методологию тестирования, так например провал некоторых вендоров на определенных семлпах мы не могли спрогнозировать перед тестом. Сейчас это видно и понятно, что нужно делать.

Для следующих тестов от вендоров нам очень бы хотелось получить свужую статистику по пакерам, используемым вирусописателями. Она нужна для правильного выбора пакеров.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Для следующих тестов от вендоров нам очень бы хотелось получить свужую статистику по пакерам, используемым вирусописателями. Она нужна для правильного выбора пакеров.

Сергей, а вы запросите статистику по пакерам у вируслабов. Пусть каждый пришлет по Х штук и затем выбрать том 10 (20, 30). Причем спросить не только у Касперского, Данилова, но и у UNA, VBA, чехов, словаков, финов. Первый раз могут и не ответить, а потом, если тесты станут известны, будут отвечать

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей, а вы запросите статистику по пакерам у вируслабов. Пусть каждый пришлет по Х штук и затем выбрать том 10 (20, 30). Причем спросить не только у Касперского, Данилова, но и у UNA, VBA, чехов, словаков, финов. Первый раз могут и не ответить, а потом, если тесты станут известны, будут отвечать

Спасибо за совет, именно так и собираемся поступить, так методология будет еще более прозрачной.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Всем участникам тестирования спасибо за проделанную работу, тест и анализ действительно очень актуален и интересен, единственное по моему мнению слабое место - это методика оценки, например получается что у одного антивируса количество провалов больше, чем у другого, но например общее количество обнаруженных вирусов может быть при этом больше, но это никак не учитывается.

Что касается результатов ведущих АВ вендоров, то вообщем-то все вполне было предсказуемо: у Касперского всегда была очень хорошая эвристика, у Symantec если посмотреть подробный отчет все довольно таки неплохо, даже лучще чем у McAfee, единственно что совсем расстроило - это результат Trend Micro.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Позвольте заметить у Касперского эвристика, называется проактивкой=))

->> у Symantec если посмотреть подробный отчет все довольно таки неплохо, даже лучще чем у McAfee

Это плохо, очень плохо для такой раздутой компании как Symantec это, вообще непойми что..

это смотрелось бы ещё ничего для компаний 3 уровня которые участвовали тут но, точно не для Symantec, McAfee, Panda..

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

>> у Касперского всегда была очень хорошая эвристика

>>Позвольте заметить у Касперского эвристика, называется проактивкой=))

Ни то, ни другое тут нипричём =) Эвристика у Касперского как раз пока слабовата, а проактивку никто не активировал - зловреды не запускались. Просто у Касперского движок знает много упаковщиков. Это традиционно сильная сторона движка ЛК. Так что он ловил не эвристически, а совершенно сигнатурно =)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

а я неговорил что проактивка тут причём, я просто сказал что как такового нормального эвристика нет, а есть проактивка и всё..))

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
единственное по моему мнению слабое место - это методика оценки, например получается что у одного антивируса количество провалов больше, чем у другого, но например общее количество обнаруженных вирусов может быть при этом больше, но это никак не учитывается

Кирилл, это же тест на поддержку упаковщиков, а не на детектирование вирусов вообще. То, что Symantec берет некоторые вирусы, не значит, что он поддерживает эти пакеры. Похоже не то, что в случае Symantec, многие упакованные объекты берут как раз "поверх пакера".

Просто у Касперского движок знает много упаковщиков. Это традиционно сильная сторона движка ЛК. Так что он ловил не эвристически, а совершенно сигнатурно =)

Именно так, поддержка пакеров является сильной стороной движка Касперского, точно также как и Доктора Веба.

Меня лично удивил Nod32, я не ожидал, что они наберут больше 10% :)

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

NOD32 - молодцы, меня они очень порадовали.

Да методика оценки немного подкачала, но будем над ней работать общими усилиями.

Следующий тест будет на порядок лучше.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

> Лично наша заслуга во включении Private EXE Protector (который не

> задетектил никто) в тестирование. Написан качественно имеет

> интересные фичи, причем постоянно обновляется (уже есть новая

> версия).

PeP не встречался мне вообще на гуляющей малваре, поэтому он не стоял в начала списка. Этот примитивный пакер довольно глюкавый, поэтому новые версии выходять чуть ли не каждую неделю. Распаковщик будет добавлен в течении 10 дней (автор может дальше лапшу вешать про невзламываемость, тем не менее, в первых версиях он не гнушался воровать мой собственный код, хоть и покаялся потом, когда я ткнул его личиком в нужное место). Ничего сложного тут нет, просто не успели добавить :)

Обидно было профукать PESpin, все версии которого распаковываются. Но этот "пакер" немного пермутирует код жертвы, так что после моей распаковки он хоть и остается работоспособным, но маски могут слетать. читай что это "вина" вирлаба - надо было покороче маски класть.

ASProtect и ExeCryptor вообще на "пакеры" не тянут - это комплексные системы защиты ПО. Их никто не сможет взять сигнатурами, только эвристикой, потому что после упаковки большая часть подопытной программы будет переведена на их виртуальную машину, и как следует пермутирована. Тут поможет или поведенческий эвристик, или потоковые сигнатуры (при условии что протектор не доберется до малварного кода, и он останется как есть).

Можно еще SVKP добавить - некоторые его задетектят как Virus.SVKP

ДрВеб сможет распаковать одну из 20 версий. Но этот словацкий крэп довольно редко попадается, и пока я не вижу смысла тратить на него время.

ЗЫ: Очень сильно удивили ребята из McAffee - самых популярных простейших статических UPX и ASPack они не знают, но "знают" редкие, полиморфные Morphine и Obsidium. Подозрительно аднако.

С NOD32 вобще все странно - взял старый (один их первой сотни самплов) неупакованный Hupigon - детектит сразу, упаковал ASPack'ом (который НОД точно знает, если верить дизасму) - распаковывает и детектит. Упаковал _старым_ UPX v1.90 - не детектит даже с advanced heuristics, кое тормозит секунд на десять на этот файл. Вывод один - UPX этой версии он не знает, и эвристика у него не заточена под данный билд хупигона. Глобальный вывод - все пакеры что не знает НОД, он теоретически должен брать эмулятором с эвристикой, а практически берет далеекооо не все.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
PeP не встречался мне вообще на гуляющей малваре, поэтому он не стоял в начала списка. Этот примитивный пакер довольно глюкавый, поэтому новые версии выходять чуть ли не каждую неделю. Распаковщик будет добавлен в течении 10 дней (автор может дальше лапшу вешать про невзламываемость, тем не менее, в первых версиях он не гнушался воровать мой собственный код, хоть и покаялся потом, когда я ткнул его личиком в нужное место). Ничего сложного тут нет, просто не успели добавить Smile

Ну, если енто так, то будет прекрасно. (обезательно проверю в конце сентября). И этот простой пакер NOD тоже не взял своим эмулятором.

Обидно было профукать PESpin, все версии которого распаковываются. Но этот "пакер" немного пермутирует код жертвы, так что после моей распаковки он хоть и остается работоспособным, но маски могут слетать. читай что это "вина" вирлаба - надо было покороче маски класть.

Эта проблема не только у Касперского, но и у большинства тестируемых антивирусов.

0

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти

Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS