Перейти к содержанию
Сергей Ильин

Сравнительный тест антивирусных эмуляторов

Recommended Posts

Сергей Ильин

Коллеги, предлагаю вашему новое антивирусное сравнение!

На этот раз мы исследовали возможности антивирусных эмуляторов и их эффективность в детектировании новых видов вредоносных программ.

Целью проведения данного сравнительного тестирования является проверка возможностей эмуляторов в различных антивирусных продуктах. Тест производился на наборе из 50 специально подготовленных для этой цели тестовых образцов (семплов), симулирующих действия различных вредоносных программ.

В тестовых образцах реализованы некоторые простейшие методики, затрудняющие эмуляцию и их анализ. Таким образом, по результатам данного сравнения можно в той или иной степени говорить об эффективности работы различных эмуляторов и их потенциале в детектировании еще неизвестных видов вредоносных программ.

Ознакомиться с результатами сравнительного тестирования эмуляторов можно здесь http://www.anti-malware.ru/index.phtml?par...;anid=emulation

Таблица 1: Результаты сравнительного теста антивирусных эмуляторов

Антивирус Детектировано (из 48 семплов)

Kaspersky Anti-Virus 7.0 beta - 23 (48%)

BitDefender Anti-Virus 10 - 20 (42%)

Norman Virus Control 5.82 - 17 (35%)

DrWeb 4.44 beta - 12 (25%)

Avira AntiVir PE Classic 7 - 9 (19%)

ESET Smart Security beta 1 - 9 (19%)

VBA32 3.12.0 - 3 (6%)

McAfee VirusScan 2007 - 2 (4%)

Sophos Anti-Virus 6.0 - 0 (0%)

Norton Anti-Virus 2007 - 0 (0%)

Trend Micro Internet Security 2007 - 0 (0%)

Для сравнительного тестирования были отобранные только те антивирусные программы, которые содержат в себе хоть какой-то эмулятор + антивирусные продукты лидеров рынка: Symantec, McAfee, Trend Micro и Sophos.

P.S. Выражаем особую благодарность эксперту по информационной безопасности Олегу Зайцеву за разработку образцов для сравнительного тестирования и предоставление полного описания антиэмуляционных технологий, применяемых в данных образцах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
эксперту по информационной безопасности Олегу Зайцеву за разработку образцов

А если к спецам НОДа обратиться? :)

ЗЫ Ну хотя бы опубликовали эти описания и сами образцы, желательно. Можно склепать коллекцию из 1000 семплов и их будет брать только КАВ. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Storm, поддерживаю. Олег - классный спец, но он в "системе". Могут возникнуть сомнения. Особенно у лидеров. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

У Касперского уровень эвристика был какой?

Добавлено спустя 2 минуты 28 секунд:

Публиковать не надо - там же написано - вендорам дадут, если попросят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Вендорам образцы выдаются. Там сразу станет видно, что образцы ни под кого не затачивались. Как видно - лучший результат меньше половины :)

У Касперского уровень эвристика был какой?

Уровень эвристика - максимальный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Inkogn

А с включенным HIPS насчёт sample401?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

ну чтож, для сомнений в том, что самплы могут быть под касперского заточены действительно есть

но я вот обратил внимание, что нет ни одного сампла, который брал бы только касперский.

в целом тест мне кажется показывает одно: вот против таких-то методов врусописак конкретный антивирус бессилен, а вот с такими успешно справляется.

Добавлено спустя 9 минут 4 секунды:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Замечу, что это не тест, а сравнение на конкретных экземплярах.

По его результатам можно судить о качестве эмулятора и наличии его как такового.

По поводу сомнений о тесте - а разве после какого-нибудь теста их не было? :D

Как видно из результатов, эмулятором, способным эмулировать API работы с файловой системой и реестром есть только у Битдефендера, бетки-Касперского и нормана. У других, если и есть эмулятор, то только для раскрутки пакеров/криптеров, анализаторы констант.

У некоторых проскакивает очевидный сигнатурный детект.

Добавлено спустя 4 минуты 15 секунд:

да, кстати, я может невнимательно читал

во всех продуктах эвристики были на максимальные настройки выставлены?

Если да, то про это надо написать.

Вот у нода в эдвансд уровень эвристика стоял?

А разве у всех можно настройки эвристики менять?

Если бы у Нода не стоял эдвансд, то он бы ничего не обнаружил.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

настройки эвристики менять можно.

причем в версиях, которые сейчас в релизе Advanced heuristics у них по умолчанию в сканере выключен.

Но насколько я понимаю в бете смарт секьюрити он по умолчанию в сканере включен (смотри скриншот). Так что если у вас есет смарт секьюрити именно с такими настройками тестировался - тогда все в порядке.

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Eset.JPG

post-10-1181737909.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Иван

Опция Advanced heuristics была активирована. Если бы она не стояла, то Нод бы ничего не обнаружил в этих файлах.

В методике указано - что во всех антивирусах были активированы настройки эмулятора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Можно сколько угодно говорить, что Олег Зайцев "в системе", однако обратите внимание, что только семпл №7 берётся только Касперским и никем другим. Гораздо больше семплов берется только Доктором или только BitDefender.

Может быть тест под них делался, а побели Касперский? ;-)

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Добавлено спустя 1 минуту 56 секунд:

Но я бы все таки указывал что у всех эвристик стоял на максимальных настройках.

Спасибо за замечание, поправим в описании теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Так не надо давать формального повода. Если все семплы доступны для "проверяльщиков", если есть продукт и набор баз актуальный на момент теста и если тест вопроизводится у "проверяльщиков", и если организаторы тесты не связаны с какой-либо заинтересованной стороной, то наверное тогда тест можно назвать "отражающим действительность".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

Сергей Ильин, я-то вам верю. Но посмотрите на свой тест с позиции менеджеров западных антивирусов. Они скорее всего будут читать между строк так: "Мы протестировали эмулятор, который есть у ЛК, но нет у этих лузеров, которые зовутся лидерами рынка. Победил KAV, а они проиграли." И сколько бы вы семплов не приводили, "осадок" у них останется. :(

Мне кажется это уже стандарт, когда выкладывается тест заявить, что он подтасован или проплачен.

Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Если все семплы доступны для "проверяльщиков"

Так они доступны!!!

Только не для кого попало, а для представителей антивирусных компаний.

Почему их не дают любому - я надеюсь Вы понимаете.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Горячиться раньше времени не надо. Вам о "проплаченности" еще не раз скажут.

Скажут, конечно, и не раз :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Имхо тест грешит тем, что его результаты легко трактуются неверно. Нужно понимать, что именно тест проверяет. Возьмём, к примеру, эмулятор НОДа. Мы знаем, что он умеет делать два вида вердиктов:

1. "Эта штука ведёт себя подозрительно" (на языке НОДа это звучит как "NewHeur_PE")

2. "Эта штука очень напоминает мне Pinch" (на языке НОДа - "Probably a new variant of Pinch", где вместо Pinch может быть некое другое семейство, естественно).

Высокие проценты, получаемые НОДом в тестах его эмулятора, получаются благодаря обоим вердиктам! Мы уже выяснили, что признаки различных семейств периодически пополняются апдейтами, представляя собой эдакий generic-детект семейств эмулятором.

Данный тест же, насколько я понимаю, тестирует ТОЛЬКО первую методику! И поэтому его результаты представляют скорее лабораторный интерес, чем практический. Даже более лабораторный, чем тест проактивных технологий Клименти - там тоже выпадает из виду поведенческий анализ процессов, но хотя бы кодовая эвристика тестируется "по-полной".

Короче говоря, это не тест эмуляторов, а тест конкретной методики эмуляции. Ну или конкретного вердикта эмуляции. Лично мне приятно, что КАВ в этом "рулит", но это единственное, что умеет эмулятор КАВа на сегодняшний день. Семейства он пока не узнаёт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Dmitry Perets но насколько я вижу нод в двух случаях таки говорит: probably a variant of Win32/TrojanDownloader.Delf.ACC

хотя это вовсе и не опровергает вашего предположения окончательно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Alex_Goodwin

Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Может еще один тест провести - сейчас заморозить базы, отобрать коллекцию зловредов, удостовериться, что не берутся сигнатурно, протестировать эвристики. Зловреды взять соответствующие - Downloader's.

Было бы здорово, но боюсь мы не соберем достаточного количества зловредов, чтобы обеспечить репрезентативность выборки. Нужна не одна сотня.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
larva

Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

Всегда думал что это немного разные вещи.

Эвристик конечно зависит от того, как хорошо работает эмулятор, но

ведь это не значит что эмулятор работает плохо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Ничего не имею против самого теста, но есть маленькая неувязочка.

С каких пор эмулятор стал выполтять роль эвристика?

В описании теста ведется речь именно об эмуляторах, их возможности и тестировались. Тестовые примеры были подобраны таким образом, чтобы определить возможности того или иного эмулятора.

Он показывает, какие эмуляторы с чем справляются, а против чего они бессильны.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

larva

Ничего не могу сказать, пока не увижу тесты.

Буду ждать семплы.

И все же исполнение кода и его анализ - немного разные вещи.

Так сравнение уже проведено!

Исполнение кода и его анализ - конечно разные вещи.

Насколько я знаю, у VBA есть эмулятор, но он используется для снятия простеньких пакеров/криптров (поправьте, если я ошибаюсь), а там идет сигнатура. Так же есть эвристик, который анализирует код программы на предмет наличия характерных для определенного класса малвар фрагментов кода, констант. Естественно он может работать совместно с эмулятором.

Но если взглянуть на Норман - там мощнейший эмулятор. Он может полностью эмулировать выполнение программы и выносит вердикт исходя из произведенных программой действий. Правда эмулируется не любой файл, а исходя из каких-то признаков.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
Dmitry Perets

Вот по этой ссылке советую почитать пункт 3. Что именно тестируется?

http://anti-malware.ru/index.phtml?part=co...;anid=emulation

В частности пункт 3.1 и 3.2. Тогда Вы сами себе ответите на вопрос :)

Ну так это имхо именно то, что я и сказал... Т.е. не тестируется способность узнавать семейства. Только я полагал, что эта способность в том же НОДе является так же частью эмулятора. Это не так? Я конечно не знаю, как именно там эвристика реализована, дизассемблером я НОД не смотрел =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • ForetFR
      CLIMB Hearsay from Earth - https://mebonus.ru
      Google №Wet

      Palestinians scoot as Israel bombards haunts from style, swell and sod!!!

      Google Hearsay

      People in Gaza fled their homes carrying crying children and valued possessions as Israeli forces pounded the vicinage from aura, adrift and land on Friday.
      The escalating controversy triggered furious protests in the occupied West Bank, where seven Palestinians were killed by way of Israeli army fire, and moreover fury between Arabs and Jews in Israel.
      Hamas praised the clashes between stone-throwing youths and Israeli soldiers in the West Bank grevorgАЛИdVhower , m‚tier on Palestinians to “set the ground ablaze under the feet of the rule”.
      Google RUMOUR - Wet
      In a meritorious escalation in the worst bout of fighting between Israel and Hamas looking for seven years, oppressive artillery fire was aimed at what the Israeli military said was a hefty network of fighter tunnels. Dozens of Hamas operatives were killed in the strikes, the Israel Apologia Forces (IDF) said.
      Palestinian protesters burn tyres and throw stones at Israeli forces in the West Bank community of Nablus

      There was gallimaufry overnight after the IDF corrected an earlier communiqu‚ saying that base troops were “currently attacking in the Gaza Strip”. A blemished proclamation clarified that there was no excuse sediment aggression, but artillery and tank vivacity from the border. “Clarification: there are currently no IDF establish troops reversed the Gaza Strip. IDF current and area forces are carrying out strikes on targets in the Gaza Strip,” it said.
      What is the current Israel-Gaza turning-point far and where is it heading?
      Deliver assign to more - GOOD COPY - in cak

      Analysts suggested it was a purposeful ploy intended to onwards elder Hamas figures to split for into a network of hidden tunnels known as “the metro”. Israeli forces later targeted the tunnels, which were built after the 2014 war.
      An IDF asseveration said 160 aircraft had “struck over 150 subterranean targets in the northern Gaza Shed one's clothes” overnight. Israel’s forces destroyed “many kilometres” of the tunnels during the assail, it claimed.
      A multi-storey building casing a bank affiliated with Hamas was destroyed, and weapons opus and naval sites were also smash, it said.

      Palestinians living in areas closed to the Gaza-Israel frieze fled their homes in pickup trucks, on donkeys and on foot. Some went to UN-run schools in Gaza Urban district, carrying small children, household essentials and food.
      Hedaia Maarouf, who left-wing her serene with her extended kinfolk of 19 people, including 13 children, said: “We were terrified instead of our children, who were screaming and shaking.”
      A Palestinian kindred flees their home in Beit Lahya in the northern Gaza Strip?
      In northern Gaza, Rafat Tanani, his having a bun in the oven strife and four children were killed after an Israeli warplane reduced a building to rubble, residents said.
      Bill - Matt Gaetz associate pleads contrite to sexual congress trafficking crimes – US manipulation animate Bouts

      The death chime in Gaza rose to over and above 120, with a dressy increase in the number of people injured in the overnight onslaught, according to the Gaza health ministry. At least 31 children bear been killed.
      Hospitals that were already struggling to wine patients with Covid received an influx of people with shrapnel wounds and other injuries. Some needed amputations. “All I can do is beseech,” said one hospital director.
      The UN said more than 200 homes and 24 schools in Gaza had been destroyed or severely damaged in Israeli bearing raids in the lifestyle five days. It also said residents’ access to inexperienced spa water could be limited because of power cuts and harm to pipe networks.
      Increased power blackouts are expected as nuclear fuel supplies off low. Most families already exclusively have power in regard to four or five hours a daylight, and hospitals are stiff to rely on generators.

      Hamas and other militant groups continued to fusillade rockets into Israel, where example sirens sounded in towns and communities. The Israeli military said it had intercepted at least five drones carrying explosives launched from Gaza since Thursday.
      Read more Scandal - HEARSAY - in Wet

      Statistic Tidings Front-page news
      http://mebonus.ru - Front-page news of Googles
    • кустомер
      Всем здравствуйте. СРАЗУ оговорка:
      Кнопка "Создать новую тему" только на главной странице форума.
      В выпадающем её меню НЕактивны абсолютно все разделы кроме этого.
      Тему разместить хотелось-бы в другом разделе.
      Ответ на тот вопрос ― наверное поэтому.
      Собственно по делу -
      У кого из считающих себя "мастером_своего_дела" могло-бы появиться желание
      подумать и высказать своё предположение метода проникновения файла сценария
      с печеньями (cookies) после того, как весь IP-диапазон адреса хранения файла
      был заблокирован в настройках Outpost, отлично справляющегося по сей день
      с блокировкой ЛЮБЫХ других (кроме этого) IP-диапазонов? Адрес(имя) файла:
      https://mc.yandex.ru/metrika/watch.js Outpost навскидку можно сравнить с другими продуктами защиты - там.

      Вопросы типа "а-зачем-вам-это-надо" будут
      расценены как флуд, отвлекающий от темы. (уважаэмым модераторам)
      Тема относится к способу проникновения этой заразы, а не к конкретному продукту защиты.
    • demkd
      на него уже давно не реагируют они сейчас самый опасный report_crash что дампы отправляет  
    • akoK
    • santy
      из архива uVS на зеркале уберите файл _autorun.zip (если он есть там), антивирусники как правило по этому файлу начинают "сходить с ума". для создания образа автозапуска юзерам он не нужен.
×