Сергей Ильин

Тест антивирусов/антируткитов на обнаружение активных руткитов (результаты)

В этой теме 70 сообщений

Уважаемые коллеги!

Предлагаю вашему вниманию результаты нашего очередного теста. На этот раз на предмет обнаружения активных руткитов тестировались антивирусы, а также специализированные антируткиты.

Цель данного теста – проверить способность наиболее популярных антивирусов и антируткитов обнаруживать и удалять широко распространенные в сети вредоносные программы (ITW-образцы), использующие руткит-технологии, а также проверить их возможность проактивного обнаружения скрывающих свое присутствие в системе программ на концептуальных руткитах (специальные программы, демо-руткиты, демонстрирующие различные возможности по сокрытию деятельности программного обеспечения в системе).

Итоговые результаты тестирования

Gold Anti-Rootkit Protection Award

anti-rootkit_gold_sm.gif

Rootkit Unhooker 3.7 (7.5 из 8 баллов)

GMER 1.0 (7 из 8 баллов)

Kaspersky Anti-Virus 7.0 (6.5 из 8 баллов)

Avira Rootkit Detection 1.0 (6.5 из 8 баллов)

Silver Anti-Rootkit Protection Award

anti-rootkit_silver_sm.gif

AVG Anti-Rootkit 1.1 (5.5 из 8 баллов)

Panda AntiRootkit 1.08 (5.5 из 8 баллов)

Sophos Anti-Rootkit 1.3.1 (5.5 из 8 баллов)

Dr.Web 4.44 (5 из 8 баллов)

TrendMicro RootkitBuster 1. (5 из 8 баллов)

Bronze Anti-Rootkit Protection Award

anti-rootkit_bronze_sm.gif

Symantec Anti-Virus 2008 (4.5 из 8 баллов)

F-Secure Anti-Virus 2008 (4 из 8 баллов)

McAfee Rootkit Detective 1.1 (3.5 из 8 баллов)

Тест провален

BitDefender Antivirus 2008 (3 из 8 баллов)

McAfee VirusScan Plus 2008 (1.5 из 8 баллов)

Eset Nod32 Anti-Virus 3.0 (1 из 8 баллов)

Trend Micro Antivirus plus Antispyware 2008 (1 из 8 баллов)

Подробный отчет о результатах теста опубликован здесь

http://www.anti-malware.ru/index.phtml?par...t=antirootkits1

Тест сделал Vaber, за что ему большой респект :thanks:

Подготовка теста и выводы - наша с ним совместная работа.

********************************

Предвкушая многочисленные вопросы уточняю:

1. Антивирусы выбирались только те, у которых заявлен и промотируется функционал по обнаружению активных руткитов

2. Концепты взяты для проверки проактивной составляющей защиты

3. Специальные утилиты также взяты для сравнения их эффективности с антивирусными продуктами.

Рекомендую ознакомиться с методологией тестирования

http://www.anti-malware.ru/index.phtml?par...ts_methodology1

а также критериями выбора самплов

http://www.anti-malware.ru/index.phtml?par...viruses_choice3

Чтобы ознакомиться подробными результатами данного теста и убедиться в правильности итоговых расчетов, рекомендуем Вам скачать результаты этого теста в формате Excel или PDF.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

вы все таки зря Сергей взяли

Антивирусы выбирались только те, у которых заявлен и промотируется функционал по обнаружению активных руткитов

я бы на вашем месте взял бы по тем же Панде, Софосу, Авире и AVG не только их отдельные утилиты, но и антивирусы тоже. И показал бы что антивирусы у них руткиты не ловят совсем, поскольку возможности их отдельных утилит до сих пор не интегрированы в их основные продукты. А также развил бы мысль - почему они не интегрированы свои утилиты в антивирусные продукты?

А так у представителей этих вендоров будет повод заявлять что вот де их антивирусные продукты по каким-то причинам не протестировали, но зато их утилиты вроде как очень неплохо выглядят, а антивирусы значит наверняка еще лучше.

Это вам Сергей и Ваберу понятно что нечего было и тестировать эти антивирусные решения - все равно бы ничего не взяли. А широкой общественности - поди это докажи без результатов теста.

Добавлено спустя 10 минут 41 секунду:

И, наконец, если руткит не был обнаружен в системе вовсе (посавлен минус), то баллов не начислалось вовсе.
вместо "посавлен минус" без буквы "т" лучше наверное (-/-) это больше соответсвует действительности

и баллы они начислЯются

вам пора контент-редактора нанимать на рекламные деньги:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Интересно сравнить детект Авира Руткит Детекшн и Просто самой Авиры - отличается ли результат антивируса от специальной утилиты своего же производства?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Итоговые результаты тестирования

Gold Anti-Rootkit Protection Award

GMER 1.0 (7 из 8 баллов)

Kaspersky Anti-Virus 7.0 (6.5 из 8 баллов)

Avira Rootkit Detection 1.0 (6.5 из 8 баллов)

Забыли Rootkit Unhooker.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

непонятный если честно какой-то тест..

где половина нормальных антируткитов (IceSword, RkU, AVZ). почему был взят GMER, большинство из антируткитов тут от какого-нибудь вендора, хотя имхо от отдельных авторов руткиты получше будут..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Забыли Rootkit Unhooker.

Поправил, потерялся при копировании.

Rootkit Unhooker - оказался абсолютно лучшим в тесте.

непонятный если честно какой-то тест..

где половина нормальных антируткитов (IceSword, RkU, AVZ). почему был взят GMER, большинство из антируткитов тут от какого-нибудь вендора, хотя имхо от отдельных авторов руткиты получше будут..

Rootkit Unhooker выиграл этот тест, он там есть. AVZ - это не антируткит в чистом виде. Включение в тест IceSword обсуждалось при подготовке прошлого теста и от него отказались.

Добавлено спустя 3 минуты 4 секунды:

Интересно сравнить детект Авира Руткит Детекшн и Просто самой Авиры - отличается ли результат антивируса от специальной утилиты своего же производства?

Там нечего сравнивать, в самом антивирусе Avira нет антируткита, поэтому согласно методологии мы не стали его тестировать. Кстати, в отличие от МсAfee и Eset, немцы на рассказывают байки на каждом углу о наличии такого функционала в своих продуктах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AVZ - это не антируткит в чистом виде

одна из составляющих данного продукта как раз антируткит, хм непомню почему от IceSword отказались надо поискать..

vaber надо было bulknet последний потестировать=))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
где половина нормальных антируткитов (IceSword, RkU, AVZ)

RKU был взят в тест. AVZ не был взят в тест потому, ч то в нем нет функционала поиска скрытых файлов на диске - эта черта характерна только для спец утилит (чистых антируткитов). Avz - утилита для исследования системы, хотя и имеет некоторый функционал антируткитов - например детект скрытых процессов, обнаружение перехватов, скртых драйверов....но не файлов. AVZ по ходу теста активно мною применялся.

Что касается IceSword и DarkSpy - чтобы их применять,нужно знать, где и что искать. Сами они не имеют функционала поиска скрытых файлов на диске.

Добавлено спустя 1 минуту 20 секунд:

vaber надо было bulknet последний потестировать=))

К сожалению эта малвара стала активно распространяться уже после завершения теста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Интересно сравнить детект Авира Руткит Детекшн и Просто самой Авиры - отличается ли результат антивируса от специальной утилиты своего же производства?

о я же говорю надо было протестировать все антивирусные продукты, чтобы показать разницу с их же отдельными утилитами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Удивили результаты Eset Nod32, который справился лишь с одним самлом.

Причем Trojan-Spy.Win32.Goldun.hn (упоминания о данном самле в вирлабах существует уже более года), который задетектили и убили все выбранные антивирусы/антируткиты.

Посмотрел заявленные функциональности у Eset Nod32, на странице с описанием ESET NOD32 Antivirus Home есть архитектура антивируса Nod32, в которую входит движок TreatSense. Тут заявлено, что Detects:...Active Rootkits...

Если перейти на описание самого движка TreatSense, то тут уже нет заявленного детекта Active Rootkits.

Возникает вопрос, единственный сампл был обнаружен "случайно", так как такой функциональности в движке нет, либо она есть, но показывает такие ужасные результаты :shock:

TreatSenseEngine.JPG

TreatSenseMain.JPG

post-3840-1198918146.jpg

post-1-1198918146.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

просто у них ребрендинг термина происходит - с "руткит" в "рукнит", по просьбе пользователей. вот и не написали еще.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
просто у них ребрендинг термина происходит - с "руткит" в "рукнит", по просьбе пользователей. вот и не написали еще.

=))

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

vaber и Сергей Ильин, спасибо за вашу работу! Надеюсь, данное сообщение не сочтут за флуд. Не всем же придираться :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Кстати, NOD32 может обнаружить и придушить Wopla, но при определенном стечении обстоятельств....

Когда что-то поможет NOD'у снять хуки и упрется во вражеский драйвер, например, та же AVZ. Тут у нода открывается второе дыхание и он выносит малварный файл сразу же. Но и это не делает ему чести. А как вообще у NOD'а выглядит руткитный алерт? А то не видел ни разу... :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

да кстати, тоже хотел сказать коллекция скриншотов сильно было украсила приведенный обзор

хотя бы в форуме интересно было бы взглянуть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Кстати, NOD32 может обнаружить и придушить Wopla, но при определенном стечении обстоятельств....

Когда что-то поможет NOD'у снять хуки и упрется во вражеский драйвер, например, та же AVZ. Тут у нода открывается второе дыхание и он выносит малварный файл сразу же. Но и это не делает ему чести. А как вообще у NOD'а выглядит руткитный алерт? А то не видел ни разу...

Гы, ну так это ясно :))) Нод не ругался бы на воплу в таком случае только при одном варианте - отсутствия сигнатуры :). Снятие хуков полностью обезоруживает Wopla.

да кстати, тоже хотел сказать коллекция скриншотов сильно было украсила приведенный обзор

хотя бы в форуме интересно было бы взглянуть

А разве у нода много алертов было? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Спасибо vaber-у за тест и статью о своем исследовании, Сергею Ильину - за содействие в проведении теста и статью на anti-malware.ru. Если он охватывает собой все (или почти) основные способы скрытия malware, то тест можно признать репрезентативным и показательным. Надеюсь и далее будете радовать нас уникальными и интересными тестовыми исслеованиями.!...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей, vaber, спасибо за проведение и представление теста.

Возможно, я не прав, но хотелось бы обратить внимание на следующую неувязочку в результатах теста.

В методологии и обсуждении делался упор на то, что тестировались только те антивирусные продукты, которые заявляют возможность излечения системы от активных руткитов.

Но по результатам тестирования выяснилось, что только 2 антивируса защищают от руткитов проактивно (т.е., по методологии теста, находят и обезвреживают концепты руткитов по их действиям).

Не нравится мне здесь то, что при этом не принимается во внимание то, что мало кто из производителей антивирусов/антируткитов заявляет о подобной функциональности.

При этом в итоговых результатах суммируются возможности как сигнатурного определения руткитов, так и проактивного детекта концептов. Мне кажется, что суммировать тут нельзя, ибо суммируются неэквивалентные вещи. Не буду тут растекаться по древу, почему они неэквивалентные. Думаю, это понятно и интуитивно. Это всё равно что складывать мандарины и мандоры. Вроде как одно и то же, но и стоит по-разному, и по вкусу несколько разное.

Для примера прошу заметить, что Антивирус Касперского уступил в этом тесте антивирусу Dr.Web на реальных руткитах, несмотря на то, что проактивное противодействие руткитам у первого есть, а у второго его нет. В итоговых результатах этого не видно, а методологию и подробные результаты тестов пользователи редко читают. Также в пресс-релизах эти подробности редко публикуются. А они как раз очень важны для понимания таких "интегральных" результатов.

В следующем подобном тестировании предлагаю отдельно указать, что некоторые (можно даже применить слово "уникальные") антивирусные продукты ценны тем, что имеют возможность проактивно противодействовать руткитам. Но при этом в суммарных результатах показывать детект только реальных руткитов, но не концептов, которые, как бы там ни было, не являются, строго говоря, вредоносными программами.

В итоге призываю сравнивать сравнимое.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В методологии и обсуждении делался упор на то, что тестировались только те антивирусные продукты, которые заявляют возможность излечения системы от активных руткитов.

Но по результатам тестирования выяснилось, что только 2 антивируса защищают от руткитов проактивно (т.е., по методологии теста, находят и обезвреживают концепты руткитов по их действиям).

Не нравится мне здесь то, что при этом не принимается во внимание то, что мало кто из производителей антивирусов/антируткитов заявляет о подобной функциональности.

И как, интересно, это влияет на объективность и репрезентативность теста?

При этом в итоговых результатах суммируются возможности как сигнатурного определения руткитов, так и проактивного детекта концептов. Мне кажется, что суммировать тут нельзя, ибо суммируются неэквивалентные вещи. Не буду тут растекаться по древу, почему они неэквивалентные. Думаю, это понятно и интуитивно. Это всё равно что складывать мандарины и мандоры. Вроде как одно и то же, но и стоит по-разному, и по вкусу несколько разное.

Ерунда. Мне как конечному пользователю абсолютно безразлично каким образом антивирус избавил меня от опасности. Ваш аргумент надуман и "притянут за уши". Когда Клементи или Маркс проводят тест на детект они не выключают эвристику. Почему? Ответ очевиден.

В следующем подобном тестировании предлагаю отдельно указать, что некоторые (можно даже применить слово "уникальные") антивирусные продукты ценны тем, что имеют возможность проактивно противодействовать руткитам. Но при этом в суммарных результатах показывать детект только реальных руткитов, но не концептов, которые, как бы там ни было, не являются, строго говоря, вредоносными программами.

Я категорически против. Если это тест на "общий детект и деактивацию", то этого делать нельзя. Ибо противоречит понятию "общий". Ваше предложение обосновано лишь в том случае, если тест проводится на реактивный детект и последующее обезвреживание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
В следующем подобном тестировании предлагаю отдельно указать, что некоторые (можно даже применить слово "уникальные") антивирусные продукты ценны тем, что имеют возможность проактивно противодействовать руткитам. Но при этом в суммарных результатах показывать детект только реальных руткитов, но не концептов, которые, как бы там ни было, не являются, строго говоря, вредоносными программами.

ха ха ха, было бы удивительно если бы вы этого не предложили:)

а так есть прекрасная статья IT спец:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Mr. Justice, Иван, эта реакция была предсказуема.

И я бы всего этого очевидного не написал бы, если бы смог самому себе объяснить, почему продукты, которые имеют к неплохому сигнатурному противодействию руткитам ещё и отлычный проактивный детект, тем не менее показывают не лучший результат на реальных руткитах.

Если сможете объяснить этот эффект, тогда будет всё ок.

Или же при тестировании на реальных руткитах проактивка была отключена?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice, Иван, эта реакция была предсказуема.

Валерий Вы не менее предсказуемы чем мы.

И я бы всего этого очевидного не написал бы, если бы смог самому себе объяснить, почему продукты, которые имеют к неплохому сигнатурному противодействию руткитам ещё и отлычный проактивный детект, тем не менее показывают не лучший результат на реальных руткитах.

О, это несерьезный аргумент. Я вот Вам, что отвечу. Если из теста исключить "коцепты", то мы сразу теряем существенно в репрезентативности. Так как такой тест не будет охватывать собой все основные способы скрытия вредоносных объектов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Плюс расскажу ещё про политику двойных стандартов.

В тесте на детект вирусов Сергей Ильин волевым решением решил не говорить об уровне ложных срабатываний и провести его в отдельном тесте, хотя уровень детекта и уровень ложняков - это 2 неотъемлемые части тестов на детект, и качество антивируса по детекту можно определить лишь сравнением этих уровней. Когда будет проведён тест на ложняки - неизвестно, и совмещать их с тестом на детект будет уже сложно, т.к. они будут разнесены по времени. Или же придётся примерно в то же время провести тест на детект ещё раз.

А в результатах теста на детект Сергей решил лишь сказать, что продукты с более высоким детектам склонны к большему уровню ложных срабатываний (хотя всем известно, что это не всегда так).

В тесте же на противодействие руткитам мы видим противопложное волевое решение - сбить всё в кучу.

Я ни в коей мере не собираюсь пересматривать результаты тестирований, которые уже были проведены. У всех у них есть недостатки, и даже у того, который был в IT спец. Я лишь пытаюсь показать недостатки, которые нахожу, ибо от этого, думается, будет больше пользы всем, чем от простых восхвалений. О достоинствах и так говорится много, и я тоже всегда благодарю авторов тестирований, которые проводят тесты для этого замечательного портала, что они проводят сложную и нужную работу.

Добавлено спустя 3 минуты 51 секунду:

О, это несерьезный аргумент. Я вот Вам, что отвечу. Если из теста исключить "коцепты", то мы сразу теряем существенно в репрезентативности. Так как такой тест не будет охватывать собой все основные способы скрытия вредоносных объектов.

О, это очень серьёзный аргумент по моему мнению! Если продукт, который взял проактивкой все концепты, не берёт все реальные руткиты, это говорит о том, что те концепты, которые были взяты для тестов, не охватывают всех возможных способностей руткитов противодействовать их обнаружению. И это как раз указывает на недостаточную репрезентативность выбора концептов для тестирования проактивной составляющей антируткитов. Снова не так?

Добавлено спустя 6 минут 13 секунд:

Если из теста исключить "коцепты", то мы сразу теряем существенно в репрезентативности.

Тогда давайте определимся, что имеется в виду. Репрезентативности теста на противодействие руткитам как вредоносным программам или репрезентативности теста на противодействие руткитам как функционалу программ?

Т.е. что понимается в терминах теста под руткитами - только подкласс вредоносных программ или вообще все руткиты? Является ли Dr.Web Shield или драйвера других антируткитов и антивирусов, которые используются для детекта "вредоносных руткитов", сами по себе руткитами? Нужно ли проактивно детектировать их установку в систему и делают ли это антируткиты своими проактивками?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Плюс расскажу ещё про политику двойных стандартов.

В тесте на детект вирусов Сергей Ильин волевым решением решил не говорить об уровне ложных срабатываний и провести его в отдельном тесте, хотя уровень детекта и уровень ложняков - это 2 неотъемлемые части тестов на детект, и качество антивируса по детекту можно определить лишь сравнением этих уровней. Когда будет проведён тест на ложняки - неизвестно, и совмещать их с тестом на детект будет уже сложно, т.к. они будут разнесены по времени. Или же придётся примерно в то же время провести тест на детект ещё раз.

Если бы в том тесте учитывались ложные срабатывания, то Dr. Web занял бы одно из последних мест.

В тесте же на противодействие руткитам мы видим противопложное волевое решение - сбить всё в кучу.

Я Вам уже все объяснил. Если несогласны обосновывайте аргументами,а не эмоциями. Никаких аргументов с вашей стороны нет.

О, это очень серьёзный аргумент по моему мнению! Если продукт, который взял проактивкой все концепты, не берёт все реальные руткиты, это говорит о том, что те концепты, которые были взяты для тестов, не охватывают всех возможных способностей руткитов противодействовать их обнаружению. И это как раз указывает на недостаточную репрезентативность выбора концептов для тестирования проактивной составляющей антируткитов. Снова не так?

Прочитайте еще раз что Вы написали! Где логика!?

Да и еще если Вы имеете в виду Касперского, то на "реальных" руткитах", он лишь на 0.5 балла уступил Dr.Web. Не занимайтесь профанацией. пожалуйста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если бы в том тесте учитывались ложные срабатывания, то Dr. Web занял бы одно из последних мест.

Вы, видимо, не привыкли к тому, что для повышения качества тестирований меня уже давно не интересует, где был бы тот или иной антивирус, даже если он мне симпатизирует и даже если я являюсь сотрудником одной из компаний, продукты которой участвуют в тестах. Если с помощью какого-либо из дефектов тестирования Dr.Web будет на более высоком месте, в других тестированиях он может быть на более низких местах из-за этого же дефекта. Я пытаюсь бороться за повышение общего качества тестирования.

Прочитайте еще раз что Вы написали! Где логика!?

Ещё раз. Был выбран репрезентативный (по мнению авторов теста) набор концептов руткитов. При этом выяснилось, что какой-то из продуктов, на которых проводилось тестирование взял все условно неизвестные руткиты. Но при этом на реальных (вредоносных) руткитах этот же продукт не детектирует все руткиты. Из этого делаем вывод, что реальные руткиты могут действовать и как-то по-другому, нежели выбранные концепты для тестирования проактивки. Правильно? Соответственно, в наборе концептов для тестирования проактивки есть "пробелы", которые позволяют реальным руткитам обходить эту самую проактивку. Т.е. в следующем тестировании надо добавить такие концепты, которые будут отражать поведение реальных руткитов, которые продукты с проактивкой не брали. Если что-то из сказанного в этом абзаце непонятно, спрашивайте конкретно.

Да и еще если Вы имеете в виду Касперского, то на "реальных" руткитах", он лишь на 0.5 балла уступил Dr.Web. Не занимайтесь профанацией. пожалуйста.

А вот из этой информации для авторов теста у меня вопрос. При тестировании на реальных руткитах срабатывала ли проактивка у тех продуктов, у которых она есть и проявилась на концептах? Если да, то удивительно, что есть продукты, у которых без проактивки детект выше, чем у тех, что с проактивкой. Если же проактивка на реальных руткитах не срабатывала, тогда возникает вопрос - а какой толк в проактивке тогда, если она на реальных (вредоносных руткитах) не срабатывает/не нужна/хватает сигнатурного детекта.

Вопросы эти весьма нетривиальные, но меня они волнуют.

Замечу, что я больше хочу не поругаться, а выяснить важные для себя моменты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS