Перейти к содержанию
Сергей Ильин

Сравнительный тест антивирусных эмуляторов

Recommended Posts

Сергей Ильин

Коллеги, предлагаю вашему новое антивирусное сравнение!

На этот раз мы исследовали возможности антивирусных эмуляторов и их эффективность в детектировании новых видов вредоносных программ.

Целью проведения данного сравнительного тестирования является проверка возможностей эмуляторов в различных антивирусных продуктах. Тест производился на наборе из 50 специально подготовленных для этой цели тестовых образцов (семплов), симулирующих действия различных вредоносных программ.

В тестовых образцах реализованы некоторые простейшие методики, затрудняющие эмуляцию и их анализ. Таким образом, по результатам данного сравнения можно в той или иной степени говорить об эффективности работы различных эмуляторов и их потенциале в детектировании еще неизвестных видов вредоносных программ.

Ознакомиться с результатами сравнительного тестирования эмуляторов можно здесь http://www.anti-malware.ru/index.phtml?par...;anid=emulation

Таблица 1: Результаты сравнительного теста антивирусных эмуляторов

Антивирус Детектировано (из 48 семплов)

Kaspersky Anti-Virus 7.0 beta - 23 (48%)

BitDefender Anti-Virus 10 - 20 (42%)

Norman Virus Control 5.82 - 17 (35%)

DrWeb 4.44 beta - 12 (25%)

Avira AntiVir PE Classic 7 - 9 (19%)

ESET Smart Security beta 1 - 9 (19%)

VBA32 3.12.0 - 3 (6%)

McAfee VirusScan 2007 - 2 (4%)

Sophos Anti-Virus 6.0 - 0 (0%)

Norton Anti-Virus 2007 - 0 (0%)

Trend Micro Internet Security 2007 - 0 (0%)

Для сравнительного тестирования были отобранные только те антивирусные программы, которые содержат в себе хоть какой-то эмулятор + антивирусные продукты лидеров рынка: Symantec, McAfee, Trend Micro и Sophos.

P.S. Выражаем особую благодарность эксперту по информационной безопасности Олегу Зайцеву за разработку образцов для сравнительного тестирования и предоставление полного описания антиэмуляционных технологий, применяемых в данных образцах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
эксперту по информационной безопасности Олегу Зайцеву за разработку образцов

А если к спецам НОДа обратиться? :)

ЗЫ Ну хотя бы опубликовали эти описания и сами образцы, желательно. Можно склепать коллекцию из 1000 семплов и их будет брать только КАВ. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Storm, поддерживаю. Олег - классный спец, но он в "системе". Могут возникнуть сомнения. Особенно у лидеров. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

У Касперского уровень эвристика был какой?

Добавлено спустя 2 минуты 28 секунд:

Публиковать не надо - там же написано - вендорам дадут, если попросят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вендорам образцы выдаются. Там сразу станет видно, что образцы ни под кого не затачивались. Как видно - лучший результат меньше половины :)

У Касперского уровень эвристика был какой?

Уровень эвристика - максимальный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

А с включенным HIPS насчёт sample401?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну чтож, для сомнений в том, что самплы могут быть под касперского заточены действительно есть

но я вот обратил внимание, что нет ни одного сампла, который брал бы только касперский.

в целом тест мне кажется показывает одно: вот против таких-то методов врусописак конкретный антивирус бессилен, а вот с такими успешно справляется.

Добавлено спустя 9 минут 4 секунды:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Замечу, что это не тест, а сравнение на конкретных экземплярах.

По его результатам можно судить о качестве эмулятора и наличии его как такового.

По поводу сомнений о тесте - а разве после какого-нибудь теста их не было? :D

Как видно из результатов, эмулятором, способным эмулировать API работы с файловой системой и реестром есть только у Битдефендера, бетки-Касперского и нормана. У других, если и есть эмулятор, то только для раскрутки пакеров/криптеров, анализаторы констант.

У некоторых проскакивает очевидный сигнатурный детект.

Добавлено спустя 4 минуты 15 секунд:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

А разве у всех можно настройки эвристики менять?

Если бы у Нода не стоял эдвансд, то он бы ничего не обнаружил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

настройки эвристики менять можно.

причем в версиях, которые сейчас в релизе Advanced heuristics у них по умолчанию в сканере выключен.

Но насколько я понимаю в бете смарт секьюрити он по умолчанию в сканере включен (смотри скриншот). Так что если у вас есет смарт секьюрити именно с такими настройками тестировался - тогда все в порядке.

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Eset.JPG

post-10-1181737909.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Иван

Опция Advanced heuristics была активирована. Если бы она не стояла, то Нод бы ничего не обнаружил в этих файлах.

В методике указано - что во всех антивирусах были активированы настройки эмулятора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Можно сколько угодно говорить, что Олег Зайцев "в системе", однако обратите внимание, что только семпл №7 берётся только Касперским и никем другим. Гораздо больше семплов берется только Доктором или только BitDefender.

Может быть тест под них делался, а побели Касперский? ;-)

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Добавлено спустя 1 минуту 56 секунд:

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Спасибо за замечание, поправим в описании теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Так не надо давать формального повода. Если все семплы доступны для "проверяльщиков", если есть продукт и набор баз актуальный на момент теста и если тест вопроизводится у "проверяльщиков", и если организаторы тесты не связаны с какой-либо заинтересованной стороной, то наверное тогда тест можно назвать "отражающим действительность".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Сергей Ильин, я-то вам верю. Но посмотрите на свой тест с позиции менеджеров западных антивирусов. Они скорее всего будут читать между строк так: "Мы протестировали эмулятор, который есть у ЛК, но нет у этих лузеров, которые зовутся лидерами рынка. Победил KAV, а они проиграли." И сколько бы вы семплов не приводили, "осадок" у них останется. :(

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Если все семплы доступны для "проверяльщиков"

Так они доступны!!!

Только не для кого попало, а для представителей антивирусных компаний.

Почему их не дают любому - я надеюсь Вы понимаете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Скажут, конечно, и не раз :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Имхо тест грешит тем, что его результаты легко трактуются неверно. Нужно понимать, что именно тест проверяет. Возьмём, к примеру, эмулятор НОДа. Мы знаем, что он умеет делать два вида вердиктов:

1. "Эта штука ведёт себя подозрительно" (на языке НОДа это звучит как "NewHeur_PE")

2. "Эта штука очень напоминает мне Pinch" (на языке НОДа - "Probably a new variant of Pinch", где вместо Pinch может быть некое другое семейство, естественно).

Высокие проценты, получаемые НОДом в тестах его эмулятора, получаются благодаря обоим вердиктам! Мы уже выяснили, что признаки различных семейств периодически пополняются апдейтами, представляя собой эдакий generic-детект семейств эмулятором.

Данный тест же, насколько я понимаю, тестирует ТОЛЬКО первую методику! И поэтому его результаты представляют скорее лабораторный интерес, чем практический. Даже более лабораторный, чем тест проактивных технологий Клименти - там тоже выпадает из виду поведенческий анализ процессов, но хотя бы кодовая эвристика тестируется "по-полной".

Короче говоря, это не тест эмуляторов, а тест конкретной методики эмуляции. Ну или конкретного вердикта эмуляции. Лично мне приятно, что КАВ в этом "рулит", но это единственное, что умеет эмулятор КАВа на сегодняшний день. Семейства он пока не узнаёт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Dmitry Perets но насколько я вижу нод в двух случаях таки говорит: probably a variant of Win32/TrojanDownloader.Delf.ACC

хотя это вовсе и не опровергает вашего предположения окончательно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Было бы здорово, но боюсь мы не соберем достаточного количества зловредов, чтобы обеспечить репрезентативность выборки. Нужна не одна сотня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
larva

Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

Всегда думал что это немного разные вещи.

Эвристик конечно зависит от того, как хорошо работает эмулятор, но

ведь это не значит что эмулятор работает плохо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

В описании теста ведется речь именно об эмуляторах, их возможности и тестировались. Тестовые примеры были подобраны таким образом, чтобы определить возможности того или иного эмулятора.

Он показывает, какие эмуляторы с чем справляются, а против чего они бессильны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Так сравнение уже проведено!

Исполнение кода и его анализ - конечно разные вещи.

Насколько я знаю, у VBA есть эмулятор, но он используется для снятия простеньких пакеров/криптров (поправьте, если я ошибаюсь), а там идет сигнатура. Так же есть эвристик, который анализирует код программы на предмет наличия характерных для определенного класса малвар фрагментов кода, констант. Естественно он может работать совместно с эмулятором.

Но если взглянуть на Норман - там мощнейший эмулятор. Он может полностью эмулировать выполнение программы и выносит вердикт исходя из произведенных программой действий. Правда эмулируется не любой файл, а исходя из каких-то признаков.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Ну так это имхо именно то, что я и сказал... Т.е. не тестируется способность узнавать семейства. Только я полагал, что эта способность в том же НОДе является так же частью эмулятора. Это не так? Я конечно не знаю, как именно там эвристика реализована, дизассемблером я НОД не смотрел =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×