Перейти к содержанию
Сергей Ильин

Сравнительный тест антивирусных эмуляторов

Recommended Posts

Сергей Ильин

Коллеги, предлагаю вашему новое антивирусное сравнение!

На этот раз мы исследовали возможности антивирусных эмуляторов и их эффективность в детектировании новых видов вредоносных программ.

Целью проведения данного сравнительного тестирования является проверка возможностей эмуляторов в различных антивирусных продуктах. Тест производился на наборе из 50 специально подготовленных для этой цели тестовых образцов (семплов), симулирующих действия различных вредоносных программ.

В тестовых образцах реализованы некоторые простейшие методики, затрудняющие эмуляцию и их анализ. Таким образом, по результатам данного сравнения можно в той или иной степени говорить об эффективности работы различных эмуляторов и их потенциале в детектировании еще неизвестных видов вредоносных программ.

Ознакомиться с результатами сравнительного тестирования эмуляторов можно здесь http://www.anti-malware.ru/index.phtml?par...;anid=emulation

Таблица 1: Результаты сравнительного теста антивирусных эмуляторов

Антивирус Детектировано (из 48 семплов)

Kaspersky Anti-Virus 7.0 beta - 23 (48%)

BitDefender Anti-Virus 10 - 20 (42%)

Norman Virus Control 5.82 - 17 (35%)

DrWeb 4.44 beta - 12 (25%)

Avira AntiVir PE Classic 7 - 9 (19%)

ESET Smart Security beta 1 - 9 (19%)

VBA32 3.12.0 - 3 (6%)

McAfee VirusScan 2007 - 2 (4%)

Sophos Anti-Virus 6.0 - 0 (0%)

Norton Anti-Virus 2007 - 0 (0%)

Trend Micro Internet Security 2007 - 0 (0%)

Для сравнительного тестирования были отобранные только те антивирусные программы, которые содержат в себе хоть какой-то эмулятор + антивирусные продукты лидеров рынка: Symantec, McAfee, Trend Micro и Sophos.

P.S. Выражаем особую благодарность эксперту по информационной безопасности Олегу Зайцеву за разработку образцов для сравнительного тестирования и предоставление полного описания антиэмуляционных технологий, применяемых в данных образцах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
эксперту по информационной безопасности Олегу Зайцеву за разработку образцов

А если к спецам НОДа обратиться? :)

ЗЫ Ну хотя бы опубликовали эти описания и сами образцы, желательно. Можно склепать коллекцию из 1000 семплов и их будет брать только КАВ. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Storm, поддерживаю. Олег - классный спец, но он в "системе". Могут возникнуть сомнения. Особенно у лидеров. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

У Касперского уровень эвристика был какой?

Добавлено спустя 2 минуты 28 секунд:

Публиковать не надо - там же написано - вендорам дадут, если попросят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вендорам образцы выдаются. Там сразу станет видно, что образцы ни под кого не затачивались. Как видно - лучший результат меньше половины :)

У Касперского уровень эвристика был какой?

Уровень эвристика - максимальный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

А с включенным HIPS насчёт sample401?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну чтож, для сомнений в том, что самплы могут быть под касперского заточены действительно есть

но я вот обратил внимание, что нет ни одного сампла, который брал бы только касперский.

в целом тест мне кажется показывает одно: вот против таких-то методов врусописак конкретный антивирус бессилен, а вот с такими успешно справляется.

Добавлено спустя 9 минут 4 секунды:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Замечу, что это не тест, а сравнение на конкретных экземплярах.

По его результатам можно судить о качестве эмулятора и наличии его как такового.

По поводу сомнений о тесте - а разве после какого-нибудь теста их не было? :D

Как видно из результатов, эмулятором, способным эмулировать API работы с файловой системой и реестром есть только у Битдефендера, бетки-Касперского и нормана. У других, если и есть эмулятор, то только для раскрутки пакеров/криптеров, анализаторы констант.

У некоторых проскакивает очевидный сигнатурный детект.

Добавлено спустя 4 минуты 15 секунд:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

А разве у всех можно настройки эвристики менять?

Если бы у Нода не стоял эдвансд, то он бы ничего не обнаружил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

настройки эвристики менять можно.

причем в версиях, которые сейчас в релизе Advanced heuristics у них по умолчанию в сканере выключен.

Но насколько я понимаю в бете смарт секьюрити он по умолчанию в сканере включен (смотри скриншот). Так что если у вас есет смарт секьюрити именно с такими настройками тестировался - тогда все в порядке.

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Eset.JPG

post-10-1181737909.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Иван

Опция Advanced heuristics была активирована. Если бы она не стояла, то Нод бы ничего не обнаружил в этих файлах.

В методике указано - что во всех антивирусах были активированы настройки эмулятора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Можно сколько угодно говорить, что Олег Зайцев "в системе", однако обратите внимание, что только семпл №7 берётся только Касперским и никем другим. Гораздо больше семплов берется только Доктором или только BitDefender.

Может быть тест под них делался, а побели Касперский? ;-)

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Добавлено спустя 1 минуту 56 секунд:

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Спасибо за замечание, поправим в описании теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Так не надо давать формального повода. Если все семплы доступны для "проверяльщиков", если есть продукт и набор баз актуальный на момент теста и если тест вопроизводится у "проверяльщиков", и если организаторы тесты не связаны с какой-либо заинтересованной стороной, то наверное тогда тест можно назвать "отражающим действительность".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Сергей Ильин, я-то вам верю. Но посмотрите на свой тест с позиции менеджеров западных антивирусов. Они скорее всего будут читать между строк так: "Мы протестировали эмулятор, который есть у ЛК, но нет у этих лузеров, которые зовутся лидерами рынка. Победил KAV, а они проиграли." И сколько бы вы семплов не приводили, "осадок" у них останется. :(

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Если все семплы доступны для "проверяльщиков"

Так они доступны!!!

Только не для кого попало, а для представителей антивирусных компаний.

Почему их не дают любому - я надеюсь Вы понимаете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Скажут, конечно, и не раз :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Имхо тест грешит тем, что его результаты легко трактуются неверно. Нужно понимать, что именно тест проверяет. Возьмём, к примеру, эмулятор НОДа. Мы знаем, что он умеет делать два вида вердиктов:

1. "Эта штука ведёт себя подозрительно" (на языке НОДа это звучит как "NewHeur_PE")

2. "Эта штука очень напоминает мне Pinch" (на языке НОДа - "Probably a new variant of Pinch", где вместо Pinch может быть некое другое семейство, естественно).

Высокие проценты, получаемые НОДом в тестах его эмулятора, получаются благодаря обоим вердиктам! Мы уже выяснили, что признаки различных семейств периодически пополняются апдейтами, представляя собой эдакий generic-детект семейств эмулятором.

Данный тест же, насколько я понимаю, тестирует ТОЛЬКО первую методику! И поэтому его результаты представляют скорее лабораторный интерес, чем практический. Даже более лабораторный, чем тест проактивных технологий Клименти - там тоже выпадает из виду поведенческий анализ процессов, но хотя бы кодовая эвристика тестируется "по-полной".

Короче говоря, это не тест эмуляторов, а тест конкретной методики эмуляции. Ну или конкретного вердикта эмуляции. Лично мне приятно, что КАВ в этом "рулит", но это единственное, что умеет эмулятор КАВа на сегодняшний день. Семейства он пока не узнаёт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Dmitry Perets но насколько я вижу нод в двух случаях таки говорит: probably a variant of Win32/TrojanDownloader.Delf.ACC

хотя это вовсе и не опровергает вашего предположения окончательно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Было бы здорово, но боюсь мы не соберем достаточного количества зловредов, чтобы обеспечить репрезентативность выборки. Нужна не одна сотня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
larva

Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

Всегда думал что это немного разные вещи.

Эвристик конечно зависит от того, как хорошо работает эмулятор, но

ведь это не значит что эмулятор работает плохо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

В описании теста ведется речь именно об эмуляторах, их возможности и тестировались. Тестовые примеры были подобраны таким образом, чтобы определить возможности того или иного эмулятора.

Он показывает, какие эмуляторы с чем справляются, а против чего они бессильны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Так сравнение уже проведено!

Исполнение кода и его анализ - конечно разные вещи.

Насколько я знаю, у VBA есть эмулятор, но он используется для снятия простеньких пакеров/криптров (поправьте, если я ошибаюсь), а там идет сигнатура. Так же есть эвристик, который анализирует код программы на предмет наличия характерных для определенного класса малвар фрагментов кода, констант. Естественно он может работать совместно с эмулятором.

Но если взглянуть на Норман - там мощнейший эмулятор. Он может полностью эмулировать выполнение программы и выносит вердикт исходя из произведенных программой действий. Правда эмулируется не любой файл, а исходя из каких-то признаков.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Ну так это имхо именно то, что я и сказал... Т.е. не тестируется способность узнавать семейства. Только я полагал, что эта способность в том же НОДе является так же частью эмулятора. Это не так? Я конечно не знаю, как именно там эвристика реализована, дизассемблером я НОД не смотрел =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ramonsmaps
      Over the years of independence, the institute has trained more than 13000 physicians (including 800 clinical interns, 1116 masters, 200 postgraduates and 20 doctoral students) in various directions.

      870 staff work at the institute at present,[when?] including 525 professorial-teaching staff in 55 departments, 34 of them are Doctors of science and 132 candidates of science. 4 staff members of the professorial-teaching staff of the institute are Honoured Workers of Science of the Republic of Uzbekistan, 3 – are members of New-York and 2 – members of Russian Academy of Pedagogical Science.

      The institute has been training medical staff on the following faculties and directions: Therapeutic, Pediatric, Dentistry, Professional Education, Preventive Medicine, Pharmacy, High Nursing Affair and Physicians’ Advanced Training. At present[when?] 3110 students have been studying at the institute (1331 at the Therapeutic faculty, 1009 at the Pediatric, 358 at the Dentistry, 175 students at the Professional Education Direction, 49 at the faculty of Pharmacy, 71 at the Direction of Preventive Medicine, 117 ones study at the Direction of High Nursing Affair).

      Today graduates of the institute are trained in the following directions of master's degree: obstetrics and gynecology, therapy (with its directions), otorhinolaryngology, cardiology, ophthalmology, infectious diseases (with its directions), dermatovenereology, neurology, general oncology, morphology, surgery (with its directions), instrumental and functional diagnostic methods (with its directions), neurosurgery, public health and public health services (with its directions), urology, narcology, traumatology and orthopedics, forensic medical examination, pediatrics (with its directions), pediatric surgery, pediatric anesthesiology and intensive care, children's cardiology and rheumatology, pediatric neurology, neonatology, sports medicine.

      The clinic of the institute numbers 700 seats and equipped with modern diagnostic and treating instrumentations: MRT, MSCT, Scanning USI, Laparoscopic Center and others.

      There are all opportunities to carry out sophisticated educational process and research work at the institute.

      Source:
      https://adti.uz/magistratura/
      medical institutes of uzbekistan

      Tags:
      medical institutes of uzbekistan
      regional scientific medical library
      electronic library of a medical student
      electronic medical library official website
    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
    • JamesBisee
      Купить газовый котел с закрытой камерой сгорания в Москве
      https://www.fire-flower.ru/
      https://www.google.tg/url?q=https://fire-flower.ru
    • PR55.RP55
      По всей видимости uVS не всегда может получить доступ к: Hosts Нужно чтобы в Лог писалась информация: "Нет доступа  к Hosts " Вроде сейчас uVS  соответствующих записей не создаёт?
×