Сравнительный тест антивирусных эмуляторов

[vaber 350]

Ну так это имхо именно то, что я и сказал... Т.е. не тестируется способность узнавать семейства. Только я полагал, что эта способность в том же НОДе является так же частью эмулятора. Это не так?

Да. Вот это "probably unknown NewHeur_PE virus" вердикт эмулятора, а это - probably a variant of Win32/TrojanDownloader.Delf.ACC - сигнатура. Это вытекает из детекта Нодом sample и sample002. Это вердикт на семейство/класс. Поскольку есть детект на 002 - эмулятор не использовался. (но он может использоваться для раскрутки пакера).

Я конечно не знаю, как именно там эвристика реализована, дизассемблером я НОД не смотрел =)

Я тоже не знаю

[Alex_Goodwin 81]

Broken Sword насколько я помню НОД ковырял..

[Dmitry Perets 30]

Да. Вот это "probably unknown NewHeur_PE virus" вердикт эмулятора, а это - probably a variant of Win32/TrojanDownloader.Delf.ACC - сигнатура. Это вытекает из детекта Нодом sample и sample002. Это вердикт на семейство/класс. Поскольку есть детект на 002 - эмулятор не использовался. (но он может использоваться для раскрутки пакера).

А, ок, теперь понял. Невнимательно читал описание сэмплов...

[Dr.Golova 55]

Только непонятно, если sample002 является фейковой малварой, которую эмулятор (и никто другой) не должен детектить, почему Авире и Ноду это дало +1, когда ожидалось -1, как чистейшая фолза?

К остальному претензий нет - тестировалась слишком старая бета, новая большинство недоработок уже понимает ;-)

[vaber 350]

Тока непонятно, если sample002 является фейковой малварой, которую эмулятор (и никто другой) не должен детектить, почему Авире и Ноду это дало +1, когда ожидалось -1, как чистейшая фолза?

Точно - нужно исправить.

К остальному претензий нет - тестировалась слишком старая бета, новая уже большинство недоработок уже понимает Wink

Тестировалась актуальная бетка Каспера на тот момент. Теперешняя детектит 009,010,011,111 образцы.

[Dr.Golova 55]

Наличие отсутствия файловой системы в эмуляторе нода пагубно сказалось на разультатах тестов, чего нельзя сказть о том же битдефендере.

По скорости сканирования вирусной коллекции НОД однозначно рвет всех - таких безрезультатных тормозов давно никто не видел :-)

[Сергей Семашко 0]

Спасибо за проведение довольно интересного теста. Данная тема является актуальной, поскольку сейчас есть определенный класс малвари, которая активно применяет антиэмуляторные трюки (думаю, представители других антивирусных компаний знают, о каких именно семействах малвари я говорю), и с которыми приходится регулярно и по большей части довольно успешно бороться.

Вчера вышел апдейт для беты VBA32, которая теперь выдает подозрения на сэмплы trd.exe, trd001.exe, trd003.exe, trd101.exe, trd102.exe, trd106.exe, trd107.exe, trd109.exe, trd110.exe чисто эмуляцией и динамическим анализом, а также дополнительно на сэмплы trd205.exe, trd206.exe, trd208.exe, trd209.exe, trd210.exe, trd211.exe, trd302.exe, trd304.exe, trd305.exe, trd306.exe комбинацией различных методов.

Все тестовые сэмплы (кроме файлов-обманок) добавлены в regressions tests set для эмулятора VBA32. Собственно, в ближайшее время разберемся и с большинством остальных сэмплов, поскольку какой-либо принципиальной сложности они не представляют (за редким исключением). Вся инфраструктура в наличии имеется и, в основном, требуется лишь незначительная модификация кода и "тонкая настройка". Тем более, такого рода изменения в эмулятор время от времени приходится вносить и для борьбы с реальной малварей, либо для поддержки новых крипторов, опыт уже есть.

Отдельное спасибо за то, что вы включаете VBA32 в свои тесты антивирусов, это действительно очень помогает улучшать качество программы, а также приобретать опыт участия в тестах.

Знают ли представители NOD32, Bitdefender и других компаний о том, что проводился этот тест? Если да, интересно, какая будет реакция? В том смысле, что будут ли они заниматься дальнейшим улучшением эмулятора специально для прохождения данных тестов?

[Сергей Ильин 1538]

Сергей Семашко, спасибо за хорошую оценку результатов нашего теста.

Очень рад, что тест помогает улучшать текущие и следующие версии тестируемых антивирусных программ, для нас это очень важно.

Отдельное спасибо за то, что вы включаете VBA32 в свои тесты антивирусов, это действительно очень помогает улучшать качество программы, а также приобретать опыт участия в тестах.

Будем и дальше продолжать включать. :-)

Знают ли представители NOD32, Bitdefender и других компаний о том, что проводился этот тест? Если да, интересно, какая будет реакция? В том смысле, что будут ли они заниматься дальнейшим улучшением эмулятора специально для прохождения данных тестов?

Пока не знают, но обязательно узнают, как только будет опубликована английская версия теста.

[4rward 0]

Конечно успешный старт эмулятора касперского поднимает настроение(лично меня как пользователя это не может не радовать),но заставляет задуматься в объективности данного теста.Я поясню.

1) Один только первый старт и уже почти лучший тестовый результат.

2) Эмулятор касперского сразу подвинул продукты вендоров ,которые годами разрабатывали эту технологию и уже давно применяли её (почти революционная технология какая-то)

3) По результатам теста видно ,что Norton абсолютно нулевой по этому критерию,но как же их технология Bloodhound ? да и разрабатывали-то эвристик одни из первых ,если не первые ?Что-то ведь должен был поймать ?

Добавлено спустя 1 минуту 15 секунд:

Что на это могут сказать уважаемые тестеры?

[TiX 0]

Просто другие шли долго к этому.. а умные лиди проанализировали все наработанное и зделали сразу правельно

[Dmitry Perets 30]

Что на это могут сказать уважаемые тестеры?

Вот это я и имел в виду, когда сказал, что результаты теста могут не верно трактоваться. Тест проверяет только один конкретный аспект эвристической защиты. Он не является полноценным индикатором качества ловли новых вирусов. Эвристические технологии не ограничиваются одним только эмулятором...

Что касается Bloodhound Heuristics, то это вообще не эмулятор. Это простой статический эвристик, насколько мне известно. К тому же слабенький довольно - см. тесты Клименти, к примеру. Видимо, он не особо совершенствовался с того самого момента, как они его придумали одни из первых...=)

[Сергей Ильин 1538]

1) Один только первый старт и уже почти лучший тестовый результат.

2) Эмулятор касперского сразу подвинул продукты вендоров ,которые годами разрабатывали эту технологию и уже давно применяли её (почти революционная технология какая-то)

3) По результатам теста видно ,что Norton абсолютно нулевой по этому критерию,но как же их технология Bloodhound ? да и разрабатывали-то эвристик одни из первых ,если не первые ?Что-то ведь должен был поймать ?

Отвечу по пунктам

1. Не вижу прямой связи между возрастом технологии и ее эффективности, скорее она обратная. Новая технология всегда разрабатыватся с учетом удачного и неудачного опыта конкурентов, что, видимо, и сделали в ЛК.

2. Пока еще не подвинули, мы сделали исследование возможностей, как будут обстоять дела в реальной жизни покажет время. Новый эмулятор Касперского сейчас реально один из лучших, наряду с BitDefender и Norman, разрыв между ними не такой большой.

3. А почему Bloodhound должен что-то выдающиеся показывать? Эта эвристическая технология, как оказалось, не имеет ничего общего с эмулятором. В Symantec эмулятора просто нет, это наглядно показал тест.

[aibolit66 0]

Коллеги, предлагаю вашему новое антивирусное сравнение!

На этот раз мы исследовали возможности антивирусных эмуляторов

Я может не понял чего, но зачем нужны антивирусные эмуляторы? Зачем эмулировать антивирус? Не лучше ли пользоваться оригиналом? :-)

[Сергей Ильин 1538]

Я может не понял чего, но зачем нужны антивирусные эмуляторы? Зачем эмулировать антивирус?

Вирусный эмулятор уж точно не то :-)

Применение у эмулятора антивирусное, значит и сам он антивирусный :wink:

[Сергей Ильин 1538]

Благодаря внимательности наших читателей, была найдена ошибка в подсчете итоговых результатов теста. Детект по двум образцам (sample2 и sample 101f) не должен учитываться, так как они являются показательными, эмулятор не должен на них реагировать.

Соответственно сняты по 1 баллу у Avira, Eset и McAfee.

Все проценты по детекту были пересчитаны исходя из количества семплов 48, а не 50, как было.

Прошу прощения, за допущенную ошибку. :oops:

Таблица 1: Результаты сравнительного теста антивирусных эмуляторов

Антивирус Детектировано (из 48 семплов)

Kaspersky Anti-Virus 7.0 beta - 23 (48%)

BitDefender Anti-Virus 10 - 20 (42%)

Norman Virus Control 5.82 - 17 (35%)

DrWeb 4.44 beta - 12 (25%)

Avira AntiVir PE Classic 7 - 9 (19%)

ESET Smart Security beta 1 - 9 (19%)

VBA32 3.12.0 - 3 (6%)

McAfee VirusScan 2007 - 2 (4%)

Sophos Anti-Virus 6.0 - 0 (0%)

Norton Anti-Virus 2007 - 0 (0%)

Trend Micro Internet Security 2007 - 0 (0%)

[4rward 0]

Что касается Bloodhound Heuristics, то это вообще не эмулятор. Это простой статический эвристик, насколько мне известно. К тому же слабенький довольно - см. тесты Клименти, к примеру. Видимо, он не особо совершенствовался с того самого момента, как они его придумали одни из первых...=)

Покопался в справочной информации по поводу bloodhound

По крайней мере разработчики указывают на обратное.

Отвечу по пунктам

1. Не вижу прямой связи между возрастом технологии и ее эффективности, скорее она обратная. Новая технология всегда разрабатыватся с учетом удачного и неудачного опыта конкурентов, что, видимо, и сделали в ЛК.

По поводу новой технологии - нужен ещё и собственный опыт.А то получается что остальные разработчики активно поделились своими разработками с Е.К. Следуя по логике ваших рассуждений получится что новички (не Е.К. а новые игроки с новыми антивирусными технологиями ) сразу должны быть в числе первых.

(ИМХО)

[Oleg 0]

Всем привет! Пишу первый раз, если что не так то не серчайте

Меня интересует вопрос, почему эмулятор Касперского показал результаты лучше всех, а вот в av-comparatives взял в 2-е меньше, чем тот же Avira или NOD?

Вообще эмулятор и эвристик это существенно разные вещи? Ведь насколько я знаю NOD хвалится своим эвристиком, а сравнивают эмуляторы?

[vaber 350]

Всем привет! Пишу первый раз, если что не так то не серчайте Very Happy

Меня интересует вопрос, почему эмулятор Касперского показал результаты лучше всех, а вот в av-comparatives взял в 2-е меньше, чем тот же Avira или NOD?

Вообще эмулятор и эвристик это существенно разные вещи? Ведь насколько я знаю NOD хвалится своим эвристиком, а сравнивают эмуляторы?

Все вопросы возникают только потому, что никто не читает описание сравнения (а именно, что тестируется). Просто смотрят результаты и не пытаются разобраться в методологии.

Вот тут есть описание того, что есть эмулятор и эвристик.

http://www.anti-malware.ru/index.phtml?par...;anid=emulation

После прочтения станет понятно, почему такие разные результаты.

[4rward 0]

Вообще если быть точным до конца и ссылаясь на справочную информацию по поводу эвристического метода обнаружения вредоносного ПО (таковыми считаются симантековцы и, насколько я знаю , это общепринятое мнение ИМХО) , ТО ДАННЫЙ МЕТОД ПРЕДСТАВЛЯЕТ СОБОЙ комплекс методик по наиболее достоверному определению является ПО зловредным или нет , с наибольшей степенью эффективности и в достаточно короткие сроки.А дословно heuristic - means to discover , соотв. - открывать , исследовать,обследовать. Словом сами авторы этой технологии утверждают ,что быстрое определение вердикта по поводу зловредности ПО и является одновременно и "ахилессовой пятой" этого метода и компромисом, предоставляя пользователю оптимальное соотношение качества детекта ко времени.При этом оптимального варианта не удасться достичь ввиду большого затрата времени и ресурсов на анализ .Повышая эффективность неизбежно повышается ресурсоёмкость и время обработки ,кол-во фолсов(и которое неизбежно будет присутствовать - причём прямая пропорциональность),НО И ДЕТеКТ ЗЛОВРЕДОВ тоже увеличится - как здесь выбрать оптимальный вариант ? Сегодня существует много интерпритаций определения "эвристический анализатор", и каждый вендор старается выделить что-то своё специфическое через собственную призму видения решений по детекту неизвестных зловредов (это бизнес/маркетинг и пиар никто не отменял )часто искажая или затемняя некоторые стороны этого определения/метода. И М Х О - все современные методики обнаружения неизвестных вирусов и пр. нечисти основываются на методе анализа (в т.ч. и сигнатурный ) и принятия решения либо собственного (встроенного ) либо с помощью стороннего действия -это и есть эвристический метод ( между прочим проактивка тоже является частью этого метода и в идеале могла бы являться полноценным эвристическим методом если бы могла самостоятельно принимать решения на 100%.Да собственно что и говорить - если бы эвристическиый метод работал на все сто ,что уже является противоречием , то необходимость в проактивке отпадала бы сама собой - это и так понятно .

Что говорить , если порой сами вендоры не могут единогласно определиться - является ПО зловредным или нет, а на его анализ уходит немалое время.

По поводу того ,что Симантек плохо прошёл тест -если он на 100% объективен (в чём я сомневаюсь , хотя искренне рад за касперского )-то для может это и плохо , но вовсе не смертельно,т.к если бы эвристический метод являлся общепризнанным стандартом -тогда да,всё действительно плохо , но тогда такого результата у продукта не было бы.Я думаю что позиция компании состоит в том,что они соблюдают некий баланс близкий к оптимальному (эвристик далеко не панацея и симантековцы это знают ,доведя его до определённого уровня доработки и оставив его в этом состоянии-чтобы был ,но не добавлял головной боли,стараясь максимально снизить фолсы у своего эвристика тем самым снижая его вероятную эффективность в несколько раз. Лишняя перестраховка объясняется доминирующим позиционированием в корпоративном сегменте , для которых фолс намного страшнее (ИМХО) , чем пропущенный зловред ,т.к. фолс автоматом затрагивает сразу почти все машины , а зловред -это ещё спорный момент.Если взять для анализа недавние события в Китае и сравнить с большой корпорацией - сколько человек пострадало от фолсов , а сколько от пропущенных зловредов?А от отсутствия эвристика ещё никто не умирал - взять хотя бы того самого касперского , который до недавнего времени оставался чистым сигнатурным антивирусным продуктом,что впрочем не помешало ему добиться очень неплохих результатов(и не проактивкой ,я думаю, а оптимизацией ресурсоёмкости продукта и быстрой реакциией на новые угрозы).

[4rward 0]

Norton AntiVirus includes an advanced heuristic technology called Bloodhound to detect unknown program and macro viruses. Bloodhound isolates and locates the various logical regions of a file and then analyses the program logic for virus-like behaviour. Bloodhound detects a very high percentage of unknown viruses. In addition, Norton AntiVirus detects unknown viruses by monitoring activity on your computer for behaviours that viruses typically perform. When a suspicious activity is detected, Norton AntiVirus prevents the action from continuing.

The file that is detected under Bloodhound.SONAR.1 indicates a running process with behavior similar to that of a Trojan horse. It may represent a new, previously unidentified type of risk. This assessment is made using the state-of-the-art behavioral technology that is only available in Symantec products.

The file that is detected under Bloodhound.SONAR.2 indicates a running process with behavior similar to that of a Trojan horse that records keystrokes. It may represent a new, previously unidentified type of risk. This assessment is made using the state-of-the-art behavioral technology that is only available in Symantec products.

Получается , что заверения разработчиков обман?

:? :?:

или всё-таки необъективность теста ? :wink:

[SuperBrat 6]

Получается , что заверения разработчиков обман?

или всё-таки необъективность теста ?

Просто разные подходы и разные авторитеты у организаторов теста. Это надо понимать и не дергаться.

Вчера товарищ выложил архив с зловредами. Один файл был битый, остальные "наши клиенты". KAV поймал двоих, Symantec тоже парочку, но других. Вроде бы радоваться, 1:1? Ан нет, остальную каку они же не распознали. Так что пользователи и одного и другого продуктов заразятся, но разными вещами. Это уже объективно. А если подобрать субъективную коллекцию, то "свой" антивирус обязательно победит. Но что лично мне импонирует, новый вирус из той кучи ЛК добавила через полчаса-час, а Symantec будет 2-3 недели мурыжить.

[4rward 0]

Просто разные подходы и разные авторитеты у организаторов теста. Это надо понимать и не дергаться.

//Сергей Ильин: Может быть стоит поприличнее себя вести? Предупреждение.

По результатам теста возникли вопросы , на которые хотелось получить ответы.Проделанная работа заслуживает уважения , но ставит под сомнение ряд утверждений , которые находятся всё-таки в сфере компетенции ув. тестеров.

Но что лично мне импонирует, новый вирус из той кучи ЛК добавила через полчаса-час, а Symantec будет 2-3 недели мурыжить.

Это точно к теме теста не относится.

[Сергей Ильин 1538]

Получается , что заверения разработчиков обман?

Это не обман, а маркетинг :wink:

Часто кто-то придумывает копеечную вещь или берет то, что уже у кого-то есть и начинает трубить на всю округу. Так, например, по жизни делает Panda и ей это приносит 130 млн. в год по данным IDC.

Bloodhound действительно эвристическая технология, но к эмулятору она, как оказалось, не имеет никакого отношения. Насколько я понимаю, это примерно небольшой кусочек проактивки Panda TruPrevent или той, что есть в 6-ке Касперского.

[I.T. 0]

Приветствую. Прочитал статью об этом сравнении, и не мог пройти мимо - один момент меня сильно озадачил. Скажите, товарищи аналитики, как можно в данном случае говорить об объективности сравнения, если все образцы были разработаны СОТРУДНИКОМ ЛАБОРАТОРИИ КАСПЕРСКОГО (победителе тестирования) ??? Я не говорю, что в другом случае касперский бы облажался, но при данных обстоятельствах тест никак не может считаться объективным.

[Сергей Ильин 1538]

Скажите, товарищи аналитики, как можно в данном случае говорить об объективности сравнения, если все образцы были разработаны СОТРУДНИКОМ ЛАБОРАТОРИИ КАСПЕРСКОГО (победителе тестирования) ??? Я не говорю, что в другом случае касперский бы облажался, но при данных обстоятельствах тест никак не может считаться объективным.

Если вы внимательно изучали результаты сравнительного тестирования, то должны были заметить, что Касперский взял всего 48%, совсем не намного опередив конкурентов. Много всего напропускал, что взяли конкуренты. О какой заточенности "под Касперского" может идти речь при таких результатах?

Более того, Олег руководствовался при подготовке тестов исключительно своим видением эффективной работы эмулятора. О результатах теста, а также методологии оценки он узнал как и вы все из публикации.

Потом Олег Зайцев - специалист высокого класса и искусственно сужать его связи до одной только ЛК некорректно. Что мешает Олегу участвовать в жизни нашего комьюнити факультативно от основной работы?

Просьба не флеймить здесь на тему "мнение сотрудника не может быть отделено от мнения компании", эта тема обсуждалась довольно подробно здесь http://www.anti-malware.ru/phpbb/viewtopic.php?t=1002

Давайте от популизма к реалиям.

Вам есть что добавить к существующим семплам?

Какие методы обхода эмуляторов ускользнули от нас, и как бы это повлияло на результаты теста?