Сергей Ильин

Сравнительный тест антивирусных эмуляторов

В этой теме 68 сообщений

Коллеги, предлагаю вашему новое антивирусное сравнение!

На этот раз мы исследовали возможности антивирусных эмуляторов и их эффективность в детектировании новых видов вредоносных программ.

Целью проведения данного сравнительного тестирования является проверка возможностей эмуляторов в различных антивирусных продуктах. Тест производился на наборе из 50 специально подготовленных для этой цели тестовых образцов (семплов), симулирующих действия различных вредоносных программ.

В тестовых образцах реализованы некоторые простейшие методики, затрудняющие эмуляцию и их анализ. Таким образом, по результатам данного сравнения можно в той или иной степени говорить об эффективности работы различных эмуляторов и их потенциале в детектировании еще неизвестных видов вредоносных программ.

Ознакомиться с результатами сравнительного тестирования эмуляторов можно здесь http://www.anti-malware.ru/index.phtml?par...;anid=emulation

Таблица 1: Результаты сравнительного теста антивирусных эмуляторов

Антивирус Детектировано (из 48 семплов)

Kaspersky Anti-Virus 7.0 beta - 23 (48%)

BitDefender Anti-Virus 10 - 20 (42%)

Norman Virus Control 5.82 - 17 (35%)

DrWeb 4.44 beta - 12 (25%)

Avira AntiVir PE Classic 7 - 9 (19%)

ESET Smart Security beta 1 - 9 (19%)

VBA32 3.12.0 - 3 (6%)

McAfee VirusScan 2007 - 2 (4%)

Sophos Anti-Virus 6.0 - 0 (0%)

Norton Anti-Virus 2007 - 0 (0%)

Trend Micro Internet Security 2007 - 0 (0%)

Для сравнительного тестирования были отобранные только те антивирусные программы, которые содержат в себе хоть какой-то эмулятор + антивирусные продукты лидеров рынка: Symantec, McAfee, Trend Micro и Sophos.

P.S. Выражаем особую благодарность эксперту по информационной безопасности Олегу Зайцеву за разработку образцов для сравнительного тестирования и предоставление полного описания антиэмуляционных технологий, применяемых в данных образцах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
эксперту по информационной безопасности Олегу Зайцеву за разработку образцов

А если к спецам НОДа обратиться? :)

ЗЫ Ну хотя бы опубликовали эти описания и сами образцы, желательно. Можно склепать коллекцию из 1000 семплов и их будет брать только КАВ. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Storm, поддерживаю. Олег - классный спец, но он в "системе". Могут возникнуть сомнения. Особенно у лидеров. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

У Касперского уровень эвристика был какой?

Добавлено спустя 2 минуты 28 секунд:

Публиковать не надо - там же написано - вендорам дадут, если попросят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вендорам образцы выдаются. Там сразу станет видно, что образцы ни под кого не затачивались. Как видно - лучший результат меньше половины :)

У Касперского уровень эвристика был какой?

Уровень эвристика - максимальный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А с включенным HIPS насчёт sample401?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ну чтож, для сомнений в том, что самплы могут быть под касперского заточены действительно есть

но я вот обратил внимание, что нет ни одного сампла, который брал бы только касперский.

в целом тест мне кажется показывает одно: вот против таких-то методов врусописак конкретный антивирус бессилен, а вот с такими успешно справляется.

Добавлено спустя 9 минут 4 секунды:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Замечу, что это не тест, а сравнение на конкретных экземплярах.

По его результатам можно судить о качестве эмулятора и наличии его как такового.

По поводу сомнений о тесте - а разве после какого-нибудь теста их не было? :D

Как видно из результатов, эмулятором, способным эмулировать API работы с файловой системой и реестром есть только у Битдефендера, бетки-Касперского и нормана. У других, если и есть эмулятор, то только для раскрутки пакеров/криптеров, анализаторы констант.

У некоторых проскакивает очевидный сигнатурный детект.

Добавлено спустя 4 минуты 15 секунд:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

А разве у всех можно настройки эвристики менять?

Если бы у Нода не стоял эдвансд, то он бы ничего не обнаружил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

настройки эвристики менять можно.

причем в версиях, которые сейчас в релизе Advanced heuristics у них по умолчанию в сканере выключен.

Но насколько я понимаю в бете смарт секьюрити он по умолчанию в сканере включен (смотри скриншот). Так что если у вас есет смарт секьюрити именно с такими настройками тестировался - тогда все в порядке.

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Eset.JPG

post-10-1181737909.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Иван

Опция Advanced heuristics была активирована. Если бы она не стояла, то Нод бы ничего не обнаружил в этих файлах.

В методике указано - что во всех антивирусах были активированы настройки эмулятора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Можно сколько угодно говорить, что Олег Зайцев "в системе", однако обратите внимание, что только семпл №7 берётся только Касперским и никем другим. Гораздо больше семплов берется только Доктором или только BitDefender.

Может быть тест под них делался, а побели Касперский? ;-)

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Добавлено спустя 1 минуту 56 секунд:

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Спасибо за замечание, поправим в описании теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Так не надо давать формального повода. Если все семплы доступны для "проверяльщиков", если есть продукт и набор баз актуальный на момент теста и если тест вопроизводится у "проверяльщиков", и если организаторы тесты не связаны с какой-либо заинтересованной стороной, то наверное тогда тест можно назвать "отражающим действительность".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин, я-то вам верю. Но посмотрите на свой тест с позиции менеджеров западных антивирусов. Они скорее всего будут читать между строк так: "Мы протестировали эмулятор, который есть у ЛК, но нет у этих лузеров, которые зовутся лидерами рынка. Победил KAV, а они проиграли." И сколько бы вы семплов не приводили, "осадок" у них останется. :(

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если все семплы доступны для "проверяльщиков"

Так они доступны!!!

Только не для кого попало, а для представителей антивирусных компаний.

Почему их не дают любому - я надеюсь Вы понимаете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Скажут, конечно, и не раз :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Имхо тест грешит тем, что его результаты легко трактуются неверно. Нужно понимать, что именно тест проверяет. Возьмём, к примеру, эмулятор НОДа. Мы знаем, что он умеет делать два вида вердиктов:

1. "Эта штука ведёт себя подозрительно" (на языке НОДа это звучит как "NewHeur_PE")

2. "Эта штука очень напоминает мне Pinch" (на языке НОДа - "Probably a new variant of Pinch", где вместо Pinch может быть некое другое семейство, естественно).

Высокие проценты, получаемые НОДом в тестах его эмулятора, получаются благодаря обоим вердиктам! Мы уже выяснили, что признаки различных семейств периодически пополняются апдейтами, представляя собой эдакий generic-детект семейств эмулятором.

Данный тест же, насколько я понимаю, тестирует ТОЛЬКО первую методику! И поэтому его результаты представляют скорее лабораторный интерес, чем практический. Даже более лабораторный, чем тест проактивных технологий Клименти - там тоже выпадает из виду поведенческий анализ процессов, но хотя бы кодовая эвристика тестируется "по-полной".

Короче говоря, это не тест эмуляторов, а тест конкретной методики эмуляции. Ну или конкретного вердикта эмуляции. Лично мне приятно, что КАВ в этом "рулит", но это единственное, что умеет эмулятор КАВа на сегодняшний день. Семейства он пока не узнаёт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Dmitry Perets но насколько я вижу нод в двух случаях таки говорит: probably a variant of Win32/TrojanDownloader.Delf.ACC

хотя это вовсе и не опровергает вашего предположения окончательно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Было бы здорово, но боюсь мы не соберем достаточного количества зловредов, чтобы обеспечить репрезентативность выборки. Нужна не одна сотня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

Всегда думал что это немного разные вещи.

Эвристик конечно зависит от того, как хорошо работает эмулятор, но

ведь это не значит что эмулятор работает плохо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

В описании теста ведется речь именно об эмуляторах, их возможности и тестировались. Тестовые примеры были подобраны таким образом, чтобы определить возможности того или иного эмулятора.

Он показывает, какие эмуляторы с чем справляются, а против чего они бессильны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Так сравнение уже проведено!

Исполнение кода и его анализ - конечно разные вещи.

Насколько я знаю, у VBA есть эмулятор, но он используется для снятия простеньких пакеров/криптров (поправьте, если я ошибаюсь), а там идет сигнатура. Так же есть эвристик, который анализирует код программы на предмет наличия характерных для определенного класса малвар фрагментов кода, констант. Естественно он может работать совместно с эмулятором.

Но если взглянуть на Норман - там мощнейший эмулятор. Он может полностью эмулировать выполнение программы и выносит вердикт исходя из произведенных программой действий. Правда эмулируется не любой файл, а исходя из каких-то признаков.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Ну так это имхо именно то, что я и сказал... Т.е. не тестируется способность узнавать семейства. Только я полагал, что эта способность в том же НОДе является так же частью эмулятора. Это не так? Я конечно не знаю, как именно там эвристика реализована, дизассемблером я НОД не смотрел =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS