Сравнительный тест антивирусных эмуляторов

[Сергей Ильин 1538]

Коллеги, предлагаю вашему новое антивирусное сравнение!

На этот раз мы исследовали возможности антивирусных эмуляторов и их эффективность в детектировании новых видов вредоносных программ.

Целью проведения данного сравнительного тестирования является проверка возможностей эмуляторов в различных антивирусных продуктах. Тест производился на наборе из 50 специально подготовленных для этой цели тестовых образцов (семплов), симулирующих действия различных вредоносных программ.

В тестовых образцах реализованы некоторые простейшие методики, затрудняющие эмуляцию и их анализ. Таким образом, по результатам данного сравнения можно в той или иной степени говорить об эффективности работы различных эмуляторов и их потенциале в детектировании еще неизвестных видов вредоносных программ.

Ознакомиться с результатами сравнительного тестирования эмуляторов можно здесь http://www.anti-malware.ru/index.phtml?par...;anid=emulation

Таблица 1: Результаты сравнительного теста антивирусных эмуляторов

Антивирус Детектировано (из 48 семплов)

Kaspersky Anti-Virus 7.0 beta - 23 (48%)

BitDefender Anti-Virus 10 - 20 (42%)

Norman Virus Control 5.82 - 17 (35%)

DrWeb 4.44 beta - 12 (25%)

Avira AntiVir PE Classic 7 - 9 (19%)

ESET Smart Security beta 1 - 9 (19%)

VBA32 3.12.0 - 3 (6%)

McAfee VirusScan 2007 - 2 (4%)

Sophos Anti-Virus 6.0 - 0 (0%)

Norton Anti-Virus 2007 - 0 (0%)

Trend Micro Internet Security 2007 - 0 (0%)

Для сравнительного тестирования были отобранные только те антивирусные программы, которые содержат в себе хоть какой-то эмулятор + антивирусные продукты лидеров рынка: Symantec, McAfee, Trend Micro и Sophos.

P.S. Выражаем особую благодарность эксперту по информационной безопасности Олегу Зайцеву за разработку образцов для сравнительного тестирования и предоставление полного описания антиэмуляционных технологий, применяемых в данных образцах.

[Storm 0]

эксперту по информационной безопасности Олегу Зайцеву за разработку образцов

А если к спецам НОДа обратиться?

ЗЫ Ну хотя бы опубликовали эти описания и сами образцы, желательно. Можно склепать коллекцию из 1000 семплов и их будет брать только КАВ.

[SuperBrat 6]

Storm, поддерживаю. Олег - классный спец, но он в "системе". Могут возникнуть сомнения. Особенно у лидеров.

[Alex_Goodwin 81]

У Касперского уровень эвристика был какой?

Добавлено спустя 2 минуты 28 секунд:

Публиковать не надо - там же написано - вендорам дадут, если попросят.

[vaber 350]

Вендорам образцы выдаются. Там сразу станет видно, что образцы ни под кого не затачивались. Как видно - лучший результат меньше половины

У Касперского уровень эвристика был какой?

Уровень эвристика - максимальный.

[Inkogn 0]

А с включенным HIPS насчёт sample401?

[Иван 290]

ну чтож, для сомнений в том, что самплы могут быть под касперского заточены действительно есть

но я вот обратил внимание, что нет ни одного сампла, который брал бы только касперский.

в целом тест мне кажется показывает одно: вот против таких-то методов врусописак конкретный антивирус бессилен, а вот с такими успешно справляется.

Добавлено спустя 9 минут 4 секунды:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

[vaber 350]

Замечу, что это не тест, а сравнение на конкретных экземплярах.

По его результатам можно судить о качестве эмулятора и наличии его как такового.

По поводу сомнений о тесте - а разве после какого-нибудь теста их не было?

Как видно из результатов, эмулятором, способным эмулировать API работы с файловой системой и реестром есть только у Битдефендера, бетки-Касперского и нормана. У других, если и есть эмулятор, то только для раскрутки пакеров/криптеров, анализаторы констант.

У некоторых проскакивает очевидный сигнатурный детект.

Добавлено спустя 4 минуты 15 секунд:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

А разве у всех можно настройки эвристики менять?

Если бы у Нода не стоял эдвансд, то он бы ничего не обнаружил.

[Иван 290]

настройки эвристики менять можно.

причем в версиях, которые сейчас в релизе Advanced heuristics у них по умолчанию в сканере выключен.

Но насколько я понимаю в бете смарт секьюрити он по умолчанию в сканере включен (смотри скриншот). Так что если у вас есет смарт секьюрити именно с такими настройками тестировался - тогда все в порядке.

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

[vaber 350]

Иван

Опция Advanced heuristics была активирована. Если бы она не стояла, то Нод бы ничего не обнаружил в этих файлах.

В методике указано - что во всех антивирусах были активированы настройки эмулятора.

[Сергей Ильин 1538]

Можно сколько угодно говорить, что Олег Зайцев "в системе", однако обратите внимание, что только семпл №7 берётся только Касперским и никем другим. Гораздо больше семплов берется только Доктором или только BitDefender.

Может быть тест под них делался, а побели Касперский? ;-)

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Добавлено спустя 1 минуту 56 секунд:

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Спасибо за замечание, поправим в описании теста.

[Storm 0]

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Так не надо давать формального повода. Если все семплы доступны для "проверяльщиков", если есть продукт и набор баз актуальный на момент теста и если тест вопроизводится у "проверяльщиков", и если организаторы тесты не связаны с какой-либо заинтересованной стороной, то наверное тогда тест можно назвать "отражающим действительность".

[SuperBrat 6]

Сергей Ильин, я-то вам верю. Но посмотрите на свой тест с позиции менеджеров западных антивирусов. Они скорее всего будут читать между строк так: "Мы протестировали эмулятор, который есть у ЛК, но нет у этих лузеров, которые зовутся лидерами рынка. Победил KAV, а они проиграли." И сколько бы вы семплов не приводили, "осадок" у них останется.

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

[vaber 350]

Если все семплы доступны для "проверяльщиков"

Так они доступны!!!

Только не для кого попало, а для представителей антивирусных компаний.

Почему их не дают любому - я надеюсь Вы понимаете.

[Сергей Ильин 1538]

Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Скажут, конечно, и не раз :-)

[Dmitry Perets 30]

Имхо тест грешит тем, что его результаты легко трактуются неверно. Нужно понимать, что именно тест проверяет. Возьмём, к примеру, эмулятор НОДа. Мы знаем, что он умеет делать два вида вердиктов:

1. "Эта штука ведёт себя подозрительно" (на языке НОДа это звучит как "NewHeur_PE")

2. "Эта штука очень напоминает мне Pinch" (на языке НОДа - "Probably a new variant of Pinch", где вместо Pinch может быть некое другое семейство, естественно).

Высокие проценты, получаемые НОДом в тестах его эмулятора, получаются благодаря обоим вердиктам! Мы уже выяснили, что признаки различных семейств периодически пополняются апдейтами, представляя собой эдакий generic-детект семейств эмулятором.

Данный тест же, насколько я понимаю, тестирует ТОЛЬКО первую методику! И поэтому его результаты представляют скорее лабораторный интерес, чем практический. Даже более лабораторный, чем тест проактивных технологий Клименти - там тоже выпадает из виду поведенческий анализ процессов, но хотя бы кодовая эвристика тестируется "по-полной".

Короче говоря, это не тест эмуляторов, а тест конкретной методики эмуляции. Ну или конкретного вердикта эмуляции. Лично мне приятно, что КАВ в этом "рулит", но это единственное, что умеет эмулятор КАВа на сегодняшний день. Семейства он пока не узнаёт.

[vaber 350]

Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос

[Иван 290]

Dmitry Perets но насколько я вижу нод в двух случаях таки говорит: probably a variant of Win32/TrojanDownloader.Delf.ACC

хотя это вовсе и не опровергает вашего предположения окончательно

[Alex_Goodwin 81]

Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

[Сергей Ильин 1538]

Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Было бы здорово, но боюсь мы не соберем достаточного количества зловредов, чтобы обеспечить репрезентативность выборки. Нужна не одна сотня.

[larva 0]

Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

Всегда думал что это немного разные вещи.

Эвристик конечно зависит от того, как хорошо работает эмулятор, но

ведь это не значит что эмулятор работает плохо.

[Сергей Ильин 1538]

Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

В описании теста ведется речь именно об эмуляторах, их возможности и тестировались. Тестовые примеры были подобраны таким образом, чтобы определить возможности того или иного эмулятора.

Он показывает, какие эмуляторы с чем справляются, а против чего они бессильны.

[larva 0]

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

[vaber 350]

larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Так сравнение уже проведено!

Исполнение кода и его анализ - конечно разные вещи.

Насколько я знаю, у VBA есть эмулятор, но он используется для снятия простеньких пакеров/криптров (поправьте, если я ошибаюсь), а там идет сигнатура. Так же есть эвристик, который анализирует код программы на предмет наличия характерных для определенного класса малвар фрагментов кода, констант. Естественно он может работать совместно с эмулятором.

Но если взглянуть на Норман - там мощнейший эмулятор. Он может полностью эмулировать выполнение программы и выносит вердикт исходя из произведенных программой действий. Правда эмулируется не любой файл, а исходя из каких-то признаков.

[Dmitry Perets 30]

Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос

Ну так это имхо именно то, что я и сказал... Т.е. не тестируется способность узнавать семейства. Только я полагал, что эта способность в том же НОДе является так же частью эмулятора. Это не так? Я конечно не знаю, как именно там эвристика реализована, дизассемблером я НОД не смотрел =)