Тест антивирусов/антируткитов на обнаружение активных руткитов (результаты)

[Сергей Ильин 1538]

Уважаемые коллеги!

Предлагаю вашему вниманию результаты нашего очередного теста. На этот раз на предмет обнаружения активных руткитов тестировались антивирусы, а также специализированные антируткиты.

Цель данного теста – проверить способность наиболее популярных антивирусов и антируткитов обнаруживать и удалять широко распространенные в сети вредоносные программы (ITW-образцы), использующие руткит-технологии, а также проверить их возможность проактивного обнаружения скрывающих свое присутствие в системе программ на концептуальных руткитах (специальные программы, демо-руткиты, демонстрирующие различные возможности по сокрытию деятельности программного обеспечения в системе).

Итоговые результаты тестирования

Gold Anti-Rootkit Protection Award

Rootkit Unhooker 3.7 (7.5 из 8 баллов)

GMER 1.0 (7 из 8 баллов)

Kaspersky Anti-Virus 7.0 (6.5 из 8 баллов)

Avira Rootkit Detection 1.0 (6.5 из 8 баллов)

Silver Anti-Rootkit Protection Award

AVG Anti-Rootkit 1.1 (5.5 из 8 баллов)

Panda AntiRootkit 1.08 (5.5 из 8 баллов)

Sophos Anti-Rootkit 1.3.1 (5.5 из 8 баллов)

Dr.Web 4.44 (5 из 8 баллов)

TrendMicro RootkitBuster 1. (5 из 8 баллов)

Bronze Anti-Rootkit Protection Award

Symantec Anti-Virus 2008 (4.5 из 8 баллов)

F-Secure Anti-Virus 2008 (4 из 8 баллов)

McAfee Rootkit Detective 1.1 (3.5 из 8 баллов)

Тест провален

BitDefender Antivirus 2008 (3 из 8 баллов)

McAfee VirusScan Plus 2008 (1.5 из 8 баллов)

Eset Nod32 Anti-Virus 3.0 (1 из 8 баллов)

Trend Micro Antivirus plus Antispyware 2008 (1 из 8 баллов)

Подробный отчет о результатах теста опубликован здесь

http://www.anti-malware.ru/index.phtml?par...t=antirootkits1

Тест сделал Vaber, за что ему большой респект :thanks:

Подготовка теста и выводы - наша с ним совместная работа.

********************************

Предвкушая многочисленные вопросы уточняю:

1. Антивирусы выбирались только те, у которых заявлен и промотируется функционал по обнаружению активных руткитов

2. Концепты взяты для проверки проактивной составляющей защиты

3. Специальные утилиты также взяты для сравнения их эффективности с антивирусными продуктами.

Рекомендую ознакомиться с методологией тестирования

http://www.anti-malware.ru/index.phtml?par...ts_methodology1

а также критериями выбора самплов

http://www.anti-malware.ru/index.phtml?par...viruses_choice3

Чтобы ознакомиться подробными результатами данного теста и убедиться в правильности итоговых расчетов, рекомендуем Вам скачать результаты этого теста в формате Excel или PDF.

[Иван 290]

вы все таки зря Сергей взяли

Антивирусы выбирались только те, у которых заявлен и промотируется функционал по обнаружению активных руткитов

я бы на вашем месте взял бы по тем же Панде, Софосу, Авире и AVG не только их отдельные утилиты, но и антивирусы тоже. И показал бы что антивирусы у них руткиты не ловят совсем, поскольку возможности их отдельных утилит до сих пор не интегрированы в их основные продукты. А также развил бы мысль - почему они не интегрированы свои утилиты в антивирусные продукты?

А так у представителей этих вендоров будет повод заявлять что вот де их антивирусные продукты по каким-то причинам не протестировали, но зато их утилиты вроде как очень неплохо выглядят, а антивирусы значит наверняка еще лучше.

Это вам Сергей и Ваберу понятно что нечего было и тестировать эти антивирусные решения - все равно бы ничего не взяли. А широкой общественности - поди это докажи без результатов теста.

Добавлено спустя 10 минут 41 секунду:

И, наконец, если руткит не был обнаружен в системе вовсе (посавлен минус), то баллов не начислалось вовсе.

вместо "посавлен минус" без буквы "т" лучше наверное (-/-) это больше соответсвует действительности

и баллы они начислЯются

вам пора контент-редактора нанимать на рекламные деньги

[TANUKI 240]

Интересно сравнить детект Авира Руткит Детекшн и Просто самой Авиры - отличается ли результат антивируса от специальной утилиты своего же производства?

[Николай Головко 70]

Итоговые результаты тестирования

Gold Anti-Rootkit Protection Award

GMER 1.0 (7 из 8 баллов)

Kaspersky Anti-Virus 7.0 (6.5 из 8 баллов)

Avira Rootkit Detection 1.0 (6.5 из 8 баллов)

Забыли Rootkit Unhooker.

[Ego1st 95]

непонятный если честно какой-то тест..

где половина нормальных антируткитов (IceSword, RkU, AVZ). почему был взят GMER, большинство из антируткитов тут от какого-нибудь вендора, хотя имхо от отдельных авторов руткиты получше будут..

[Сергей Ильин 1538]

Забыли Rootkit Unhooker.

Поправил, потерялся при копировании.

Rootkit Unhooker - оказался абсолютно лучшим в тесте.

непонятный если честно какой-то тест..

где половина нормальных антируткитов (IceSword, RkU, AVZ). почему был взят GMER, большинство из антируткитов тут от какого-нибудь вендора, хотя имхо от отдельных авторов руткиты получше будут..

Rootkit Unhooker выиграл этот тест, он там есть. AVZ - это не антируткит в чистом виде. Включение в тест IceSword обсуждалось при подготовке прошлого теста и от него отказались.

Добавлено спустя 3 минуты 4 секунды:

Интересно сравнить детект Авира Руткит Детекшн и Просто самой Авиры - отличается ли результат антивируса от специальной утилиты своего же производства?

Там нечего сравнивать, в самом антивирусе Avira нет антируткита, поэтому согласно методологии мы не стали его тестировать. Кстати, в отличие от МсAfee и Eset, немцы на рассказывают байки на каждом углу о наличии такого функционала в своих продуктах.

[Ego1st 95]

AVZ - это не антируткит в чистом виде

одна из составляющих данного продукта как раз антируткит, хм непомню почему от IceSword отказались надо поискать..

vaber надо было bulknet последний потестировать=))

[vaber 350]

где половина нормальных антируткитов (IceSword, RkU, AVZ)

RKU был взят в тест. AVZ не был взят в тест потому, ч то в нем нет функционала поиска скрытых файлов на диске - эта черта характерна только для спец утилит (чистых антируткитов). Avz - утилита для исследования системы, хотя и имеет некоторый функционал антируткитов - например детект скрытых процессов, обнаружение перехватов, скртых драйверов....но не файлов. AVZ по ходу теста активно мною применялся.

Что касается IceSword и DarkSpy - чтобы их применять,нужно знать, где и что искать. Сами они не имеют функционала поиска скрытых файлов на диске.

Добавлено спустя 1 минуту 20 секунд:

vaber надо было bulknet последний потестировать=))

К сожалению эта малвара стала активно распространяться уже после завершения теста.

[Иван 290]

Интересно сравнить детект Авира Руткит Детекшн и Просто самой Авиры - отличается ли результат антивируса от специальной утилиты своего же производства?

о я же говорю надо было протестировать все антивирусные продукты, чтобы показать разницу с их же отдельными утилитами.

[Александр Шабанов 120]

Удивили результаты Eset Nod32, который справился лишь с одним самлом.

Причем Trojan-Spy.Win32.Goldun.hn (упоминания о данном самле в вирлабах существует уже более года), который задетектили и убили все выбранные антивирусы/антируткиты.

Посмотрел заявленные функциональности у Eset Nod32, на странице с описанием ESET NOD32 Antivirus Home есть архитектура антивируса Nod32, в которую входит движок TreatSense. Тут заявлено, что Detects:...Active Rootkits...

Если перейти на описание самого движка TreatSense, то тут уже нет заявленного детекта Active Rootkits.

Возникает вопрос, единственный сампл был обнаружен "случайно", так как такой функциональности в движке нет, либо она есть, но показывает такие ужасные результаты :shock:

[A. 875]

просто у них ребрендинг термина происходит - с "руткит" в "рукнит", по просьбе пользователей. вот и не написали еще.

[Dmitry Perets 30]

просто у них ребрендинг термина происходит - с "руткит" в "рукнит", по просьбе пользователей. вот и не написали еще.

=))

[Lemmit 31]

vaber и Сергей Ильин, спасибо за вашу работу! Надеюсь, данное сообщение не сочтут за флуд. Не всем же придираться :wink:

[XL 0]

Кстати, NOD32 может обнаружить и придушить Wopla, но при определенном стечении обстоятельств....

Когда что-то поможет NOD'у снять хуки и упрется во вражеский драйвер, например, та же AVZ. Тут у нода открывается второе дыхание и он выносит малварный файл сразу же. Но и это не делает ему чести. А как вообще у NOD'а выглядит руткитный алерт? А то не видел ни разу...

[Иван 290]

да кстати, тоже хотел сказать коллекция скриншотов сильно было украсила приведенный обзор

хотя бы в форуме интересно было бы взглянуть

[vaber 350]

Кстати, NOD32 может обнаружить и придушить Wopla, но при определенном стечении обстоятельств....

Когда что-то поможет NOD'у снять хуки и упрется во вражеский драйвер, например, та же AVZ. Тут у нода открывается второе дыхание и он выносит малварный файл сразу же. Но и это не делает ему чести. А как вообще у NOD'а выглядит руткитный алерт? А то не видел ни разу...

Гы, ну так это ясно )) Нод не ругался бы на воплу в таком случае только при одном варианте - отсутствия сигнатуры . Снятие хуков полностью обезоруживает Wopla.

да кстати, тоже хотел сказать коллекция скриншотов сильно было украсила приведенный обзор

хотя бы в форуме интересно было бы взглянуть

А разве у нода много алертов было?

[Mr. Justice 771]

Спасибо vaber-у за тест и статью о своем исследовании, Сергею Ильину - за содействие в проведении теста и статью на anti-malware.ru. Если он охватывает собой все (или почти) основные способы скрытия malware, то тест можно признать репрезентативным и показательным. Надеюсь и далее будете радовать нас уникальными и интересными тестовыми исслеованиями.!...

[Valery Ledovskoy 1082]

Сергей, vaber, спасибо за проведение и представление теста.

Возможно, я не прав, но хотелось бы обратить внимание на следующую неувязочку в результатах теста.

В методологии и обсуждении делался упор на то, что тестировались только те антивирусные продукты, которые заявляют возможность излечения системы от активных руткитов.

Но по результатам тестирования выяснилось, что только 2 антивируса защищают от руткитов проактивно (т.е., по методологии теста, находят и обезвреживают концепты руткитов по их действиям).

Не нравится мне здесь то, что при этом не принимается во внимание то, что мало кто из производителей антивирусов/антируткитов заявляет о подобной функциональности.

При этом в итоговых результатах суммируются возможности как сигнатурного определения руткитов, так и проактивного детекта концептов. Мне кажется, что суммировать тут нельзя, ибо суммируются неэквивалентные вещи. Не буду тут растекаться по древу, почему они неэквивалентные. Думаю, это понятно и интуитивно. Это всё равно что складывать мандарины и мандоры. Вроде как одно и то же, но и стоит по-разному, и по вкусу несколько разное.

Для примера прошу заметить, что Антивирус Касперского уступил в этом тесте антивирусу Dr.Web на реальных руткитах, несмотря на то, что проактивное противодействие руткитам у первого есть, а у второго его нет. В итоговых результатах этого не видно, а методологию и подробные результаты тестов пользователи редко читают. Также в пресс-релизах эти подробности редко публикуются. А они как раз очень важны для понимания таких "интегральных" результатов.

В следующем подобном тестировании предлагаю отдельно указать, что некоторые (можно даже применить слово "уникальные") антивирусные продукты ценны тем, что имеют возможность проактивно противодействовать руткитам. Но при этом в суммарных результатах показывать детект только реальных руткитов, но не концептов, которые, как бы там ни было, не являются, строго говоря, вредоносными программами.

В итоге призываю сравнивать сравнимое.

[Mr. Justice 771]

В методологии и обсуждении делался упор на то, что тестировались только те антивирусные продукты, которые заявляют возможность излечения системы от активных руткитов.

Но по результатам тестирования выяснилось, что только 2 антивируса защищают от руткитов проактивно (т.е., по методологии теста, находят и обезвреживают концепты руткитов по их действиям).

Не нравится мне здесь то, что при этом не принимается во внимание то, что мало кто из производителей антивирусов/антируткитов заявляет о подобной функциональности.

И как, интересно, это влияет на объективность и репрезентативность теста?

При этом в итоговых результатах суммируются возможности как сигнатурного определения руткитов, так и проактивного детекта концептов. Мне кажется, что суммировать тут нельзя, ибо суммируются неэквивалентные вещи. Не буду тут растекаться по древу, почему они неэквивалентные. Думаю, это понятно и интуитивно. Это всё равно что складывать мандарины и мандоры. Вроде как одно и то же, но и стоит по-разному, и по вкусу несколько разное.

Ерунда. Мне как конечному пользователю абсолютно безразлично каким образом антивирус избавил меня от опасности. Ваш аргумент надуман и "притянут за уши". Когда Клементи или Маркс проводят тест на детект они не выключают эвристику. Почему? Ответ очевиден.

В следующем подобном тестировании предлагаю отдельно указать, что некоторые (можно даже применить слово "уникальные") антивирусные продукты ценны тем, что имеют возможность проактивно противодействовать руткитам. Но при этом в суммарных результатах показывать детект только реальных руткитов, но не концептов, которые, как бы там ни было, не являются, строго говоря, вредоносными программами.

Я категорически против. Если это тест на "общий детект и деактивацию", то этого делать нельзя. Ибо противоречит понятию "общий". Ваше предложение обосновано лишь в том случае, если тест проводится на реактивный детект и последующее обезвреживание.

[Иван 290]

В следующем подобном тестировании предлагаю отдельно указать, что некоторые (можно даже применить слово "уникальные") антивирусные продукты ценны тем, что имеют возможность проактивно противодействовать руткитам. Но при этом в суммарных результатах показывать детект только реальных руткитов, но не концептов, которые, как бы там ни было, не являются, строго говоря, вредоносными программами.

ха ха ха, было бы удивительно если бы вы этого не предложили

а так есть прекрасная статья IT спец

[Valery Ledovskoy 1082]

Mr. Justice, Иван, эта реакция была предсказуема.

И я бы всего этого очевидного не написал бы, если бы смог самому себе объяснить, почему продукты, которые имеют к неплохому сигнатурному противодействию руткитам ещё и отлычный проактивный детект, тем не менее показывают не лучший результат на реальных руткитах.

Если сможете объяснить этот эффект, тогда будет всё ок.

Или же при тестировании на реальных руткитах проактивка была отключена?

[Mr. Justice 771]

Mr. Justice, Иван, эта реакция была предсказуема.

Валерий Вы не менее предсказуемы чем мы.

И я бы всего этого очевидного не написал бы, если бы смог самому себе объяснить, почему продукты, которые имеют к неплохому сигнатурному противодействию руткитам ещё и отлычный проактивный детект, тем не менее показывают не лучший результат на реальных руткитах.

О, это несерьезный аргумент. Я вот Вам, что отвечу. Если из теста исключить "коцепты", то мы сразу теряем существенно в репрезентативности. Так как такой тест не будет охватывать собой все основные способы скрытия вредоносных объектов.

[Valery Ledovskoy 1082]

Плюс расскажу ещё про политику двойных стандартов.

В тесте на детект вирусов Сергей Ильин волевым решением решил не говорить об уровне ложных срабатываний и провести его в отдельном тесте, хотя уровень детекта и уровень ложняков - это 2 неотъемлемые части тестов на детект, и качество антивируса по детекту можно определить лишь сравнением этих уровней. Когда будет проведён тест на ложняки - неизвестно, и совмещать их с тестом на детект будет уже сложно, т.к. они будут разнесены по времени. Или же придётся примерно в то же время провести тест на детект ещё раз.

А в результатах теста на детект Сергей решил лишь сказать, что продукты с более высоким детектам склонны к большему уровню ложных срабатываний (хотя всем известно, что это не всегда так).

В тесте же на противодействие руткитам мы видим противопложное волевое решение - сбить всё в кучу.

Я ни в коей мере не собираюсь пересматривать результаты тестирований, которые уже были проведены. У всех у них есть недостатки, и даже у того, который был в IT спец. Я лишь пытаюсь показать недостатки, которые нахожу, ибо от этого, думается, будет больше пользы всем, чем от простых восхвалений. О достоинствах и так говорится много, и я тоже всегда благодарю авторов тестирований, которые проводят тесты для этого замечательного портала, что они проводят сложную и нужную работу.

Добавлено спустя 3 минуты 51 секунду:

О, это несерьезный аргумент. Я вот Вам, что отвечу. Если из теста исключить "коцепты", то мы сразу теряем существенно в репрезентативности. Так как такой тест не будет охватывать собой все основные способы скрытия вредоносных объектов.

О, это очень серьёзный аргумент по моему мнению! Если продукт, который взял проактивкой все концепты, не берёт все реальные руткиты, это говорит о том, что те концепты, которые были взяты для тестов, не охватывают всех возможных способностей руткитов противодействовать их обнаружению. И это как раз указывает на недостаточную репрезентативность выбора концептов для тестирования проактивной составляющей антируткитов. Снова не так?

Добавлено спустя 6 минут 13 секунд:

Если из теста исключить "коцепты", то мы сразу теряем существенно в репрезентативности.

Тогда давайте определимся, что имеется в виду. Репрезентативности теста на противодействие руткитам как вредоносным программам или репрезентативности теста на противодействие руткитам как функционалу программ?

Т.е. что понимается в терминах теста под руткитами - только подкласс вредоносных программ или вообще все руткиты? Является ли Dr.Web Shield или драйвера других антируткитов и антивирусов, которые используются для детекта "вредоносных руткитов", сами по себе руткитами? Нужно ли проактивно детектировать их установку в систему и делают ли это антируткиты своими проактивками?

[Mr. Justice 771]

Плюс расскажу ещё про политику двойных стандартов.

В тесте на детект вирусов Сергей Ильин волевым решением решил не говорить об уровне ложных срабатываний и провести его в отдельном тесте, хотя уровень детекта и уровень ложняков - это 2 неотъемлемые части тестов на детект, и качество антивируса по детекту можно определить лишь сравнением этих уровней. Когда будет проведён тест на ложняки - неизвестно, и совмещать их с тестом на детект будет уже сложно, т.к. они будут разнесены по времени. Или же придётся примерно в то же время провести тест на детект ещё раз.

Если бы в том тесте учитывались ложные срабатывания, то Dr. Web занял бы одно из последних мест.

В тесте же на противодействие руткитам мы видим противопложное волевое решение - сбить всё в кучу.

Я Вам уже все объяснил. Если несогласны обосновывайте аргументами,а не эмоциями. Никаких аргументов с вашей стороны нет.

О, это очень серьёзный аргумент по моему мнению! Если продукт, который взял проактивкой все концепты, не берёт все реальные руткиты, это говорит о том, что те концепты, которые были взяты для тестов, не охватывают всех возможных способностей руткитов противодействовать их обнаружению. И это как раз указывает на недостаточную репрезентативность выбора концептов для тестирования проактивной составляющей антируткитов. Снова не так?

Прочитайте еще раз что Вы написали! Где логика!?

Да и еще если Вы имеете в виду Касперского, то на "реальных" руткитах", он лишь на 0.5 балла уступил Dr.Web. Не занимайтесь профанацией. пожалуйста.

[Valery Ledovskoy 1082]

Если бы в том тесте учитывались ложные срабатывания, то Dr. Web занял бы одно из последних мест.

Вы, видимо, не привыкли к тому, что для повышения качества тестирований меня уже давно не интересует, где был бы тот или иной антивирус, даже если он мне симпатизирует и даже если я являюсь сотрудником одной из компаний, продукты которой участвуют в тестах. Если с помощью какого-либо из дефектов тестирования Dr.Web будет на более высоком месте, в других тестированиях он может быть на более низких местах из-за этого же дефекта. Я пытаюсь бороться за повышение общего качества тестирования.

Прочитайте еще раз что Вы написали! Где логика!?

Ещё раз. Был выбран репрезентативный (по мнению авторов теста) набор концептов руткитов. При этом выяснилось, что какой-то из продуктов, на которых проводилось тестирование взял все условно неизвестные руткиты. Но при этом на реальных (вредоносных) руткитах этот же продукт не детектирует все руткиты. Из этого делаем вывод, что реальные руткиты могут действовать и как-то по-другому, нежели выбранные концепты для тестирования проактивки. Правильно? Соответственно, в наборе концептов для тестирования проактивки есть "пробелы", которые позволяют реальным руткитам обходить эту самую проактивку. Т.е. в следующем тестировании надо добавить такие концепты, которые будут отражать поведение реальных руткитов, которые продукты с проактивкой не брали. Если что-то из сказанного в этом абзаце непонятно, спрашивайте конкретно.

Да и еще если Вы имеете в виду Касперского, то на "реальных" руткитах", он лишь на 0.5 балла уступил Dr.Web. Не занимайтесь профанацией. пожалуйста.

А вот из этой информации для авторов теста у меня вопрос. При тестировании на реальных руткитах срабатывала ли проактивка у тех продуктов, у которых она есть и проявилась на концептах? Если да, то удивительно, что есть продукты, у которых без проактивки детект выше, чем у тех, что с проактивкой. Если же проактивка на реальных руткитах не срабатывала, тогда возникает вопрос - а какой толк в проактивке тогда, если она на реальных (вредоносных руткитах) не срабатывает/не нужна/хватает сигнатурного детекта.

Вопросы эти весьма нетривиальные, но меня они волнуют.

Замечу, что я больше хочу не поругаться, а выяснить важные для себя моменты.