Тест на лечение активного заражения V (подготовка)

[Сергей Ильин 1538]

Коллеги, предлагаю открыть обсуждение предстоящего теста на лечение активного заражения, уже пятого по счету. В общем-то схему проведения теста как таковую обсуждать нечего, она устоялась, ровно как систему награждения. А вот список вредоносов очень нужно обсудить. Какие берем в этот раз?

В прошлом тесте мы брали следующие вредоносы:

1. AdWare.Virtumonde (Vundo)

2. Rustock (NewRest)

3. Sinowal (Mebroot)

4. Email-Worm.Scano (Areses)

5. TDL (TDSS, Alureon, Tidserv)

6. TDL2 (TDSS, Alureon, Tidserv)

7. Srizbi

8. Rootkit.Podnuha (Boaxxe)

9. Rootkit.Pakes (synsenddrv)

10. Rootkit.Protector (Cutwail, Pandex, Pushdo)

11. Virus.Protector (Kobcka, Neprodoor)

12. Xorpix (Eterok)

13. Trojan-Spy.Zbot

14. Win32/Glaze

15. SubSys (Trojan.Okuks)

16. TDL3 v.3.17 (TDSS, Alureon, Tidserv)

Методология прошлого теста

http://www.anti-malware.ru/node/2213

Долго обсуждать не можем себе позволить, график у нас и так уже поехал. Нужно будет начать тест уже 15 февраля.

[DiabloNova 175]

Пожелание, убрать из списка в первом посте все трупы и бояны (т.е. почти все) + взять

TDL4

SpyEye 1.3

BlackEnergy2+

ZeroAccess

Bohu.A

моды TDL3

разумеется актуальные версии.

[A. 876]

ZeroAccess

а не баян ли это ?

[DiabloNova 175]

а не баян ли это ?

С точки зрения функционала - нет.

Общую статистику он должен хорошо попортить.

К тому же его по каким-то причинам не взяли в прошлый тест.

[Сергей Ильин 1538]

Пожелание, убрать из списка в первом посте все трупы и бояны (т.е. почти все) + взять

А что там не бояны реально?

Там ведь по прошлому тесту Sinowal (Mebroot), Srizbi, Worm.Scano (Areses) и Virus.Protector (Kobcka, Neprodoor) лечили единицы. ИМХО было не правильно что-то наследовать, чтобы посмотреть ретроспективу, кто из вендоров провел работу над ошибками, а кто просто забил на все.

[DiabloNova 175]

Вы посмотрите не ретроспективу, а в лучшем случае костылеспективу, imho

Если наблюдать что-то подобное то и тесты надо проводить ежеквартально (или вообще ежемесячно), а не раз в год и заранее подобные вещи оговаривать.

[KIS_fan 17]

Предлагаю взять тех же Вендоров с их последнями версиями. Кроме VBA32 Antivirus, так как они над личением всё равно не работуют - у них для того отдельная тулза. Предлагаю взамен взять G DATA AntiVirus 2011 и Online Solution Security Suite (говорят он руткиты лечит, вот и надо посмотреть)

[Dmitriy K 603]

Online Solution Security Suite

давно он стал антивирусом?

P.S. VMware, Win7 х32, TDL4, не видит.

(может из-за того, что виртуалка)

------

Windows XP или Win7?

[KIS_fan 17]

давно он стал антивирусом?

Ввиде исключения, так как антивируса у них нет. Или вместо него Online Solution Autorun Manager

[Сергей Ильин 1538]

давно он стал антивирусом?

Ну вроде как это комбайн, не стоит придираться к терминам в данном случае. Если они в принципе что-то лечат, но надо их взять. Все таки наш российский проект.

[KIS_fan 17]

Из вреданосов обезательно взять:

TDL по TDL4 ( мож TDL1 ещё не все лечят

Rustock

Sinowal

Rootkit.Podnuha

Rootkit.Protector

SubSys

давно он стал антивирусом?

P.S. VMware, Win7 х32, TDL4, не видит.

TDL4 много кто не видит... Я уже ни говорю про лечение.

Вообще можно сразу сказать, и тест это покажет, что TDL4 вылечат только пару продуктов.

[sww 486]

TDL4 проверять на x86 и на win7 x64.

Если наблюдать что-то подобное то и тесты надо проводить ежеквартально (или вообще ежемесячно), а не раз в год и заранее подобные вещи оговаривать.

Не выйдет, т.к. в методологии четко указано, что должен быть сигнатурный (хотя бы какой-нить) детект на все компоненты. Знаешь как долго надо ждать, чтобы очередной супер-крутой ав добавил сэмпл и его дропы в свои базы?

Иначе данный тест превратится в это (Repair).

[Danilka 678]

Вы посмотрите не ретроспективу, а в лучшем случае костылеспективу, imho

Если наблюдать что-то подобное то и тесты надо проводить ежеквартально (или вообще ежемесячно), а не раз в год и заранее подобные вещи оговаривать.

Согласен.

[Umnik 997]

Ну, можно за нелечение боянов снимать по 1,5-2 балла, ибо...

[SySOPik 52]

Было бы очень интересно увидеть в тестах украинский IS Zillya!. Темная лошадка, нигде в тестированиях его не видно да и обзоров нет.

[vaber 350]

Пожелание, убрать из списка в первом посте все трупы и бояны (т.е. почти все) + взять

TDL4

SpyEye 1.3

BlackEnergy2+

ZeroAccess

Bohu.A

моды TDL3

разумеется актуальные версии.

Как по мне, так если старые семейства и убирать, то только заменив более свежим аналогом.

Ну и при составления списка семппов нужно отталкиваться от существующей методологии (либо изменять ее):

отсутствие целенаправленного противодействия работе любого тестируемого антивируса (удаление файлов, ключей принадлежащих антивирусу, завершение процессов антивируса, блокировка возможности обновления баз антивируса);

К тому же его по каким-то причинам не взяли в прошлый тест

Насколько мне не изменяет склероз - банально не успели (кстати, не все модификации этого руткита не имеют на борту способность прибивать процессы), т.к. тестеры к моменту активного распространения этой модификации малвари уже начали проведение теста (а сколько месяцев ждать нужно было, чтобы все патченный драйвер добавили в базы....)

[DiabloNova 175]

отсутствие целенаправленного противодействия работе любого тестируемого антивируса (удаление файлов, ключей принадлежащих антивирусу, завершение процессов антивируса, блокировка возможности обновления баз антивируса);

Какой-то странный пункт не имеющий с жизнью ничего общего. Есть зараженная система которую надо лечить.

По той же аналогии надо исключить все, что может вызвать BSOD.

[vaber 350]

Какой-то странный пункт не имеющий с жизнью ничего общего. Есть зараженная система которую надо лечить.

Он необходим по нескольким причинам:

1. Мы проверяем лечение, а не самозащиту (да и в тесте самозащиты мы ее проверяем на уже установленных продуктах, а не при их инсталляции в систему)

2. Зачастую используется драйвер для прибиения антивируса. А пытаться в общем защищаться от убиения из ядра - нонсенс.

3. Сложно отобрать такие семплы, которые бы одинаковым способом нарушали работу всех тестируемых AV. Если семплы будут выборочно кого-то убивать, то манипуляциями кол-вом таких семплом можно менять результаты.

4. Если вредоносная программа блокирует обновление, то как тогда лечить систему? (тут результат может зависеть от даты сборки дистрибутива у каждого вендора и "старости" малвары)

http://www.anti-malware.ru/forum/index.php...ost&p=96000

Вот тут я ранее писал мое видение идеи теста на лечение.

А все ограничения в методологии о выборе вредоносных программ введены исключительно для возможности проведения этого теста (отталкиваясь от основной идеи и цели), для уменьшения влияния на результат отдельно взятого защитного продукта, для того, чтобы можно было объяснить выбор ВП из великого их множества (а не просто брать наобум какие-то распространяемые и их лечить, как делаю некоторые другие тестовые лаборатории).

[DiabloNova 175]

Ок, ясно. В таком случае должно быть четко и большими буквами в результатах указано, что данный тест является по сути тестом заявленных возможностей в идеальных условиях.

Просто те кто будут трактовать этот тест в пользу то или иного продукта не будут читать методологию, вникать в сложности и так далее. Заявлено лечение например буткита - подтверждено тестом - ОК, все рады. Взяли тот же образец чуть разбавили мбр мусором и все нету ни детекта ни лечения.

[vaber 350]

В таком случае должно быть четко и большими буквами в результатах указано, что данный тест является по сути тестом заявленных возможностей в идеальных условиях.

Я даже переформулирую себя. Тест не то, чтобы идеализированный. Он вполне соответствует реальности. Разве не может некий пользователь быть зараженным TDL4 и не иметь другой малвары (которая убивает антивирусы, лочит ПК, целенаправленно мешает обновлению и т.п.)на ПК? Вполне может, более того такие есть.

Цель любого теста антивирусов - показать действительное положение дел в той области, что, собственно, проверяет тестирование. И все ограничения в выборе малвары в методологии этого теста сделаны исключительно для возможности проведения самого теста и ответа на поставленный вопрос.

И, мое мнение, этот тест, один из не многих, способен ответить на вопрос: какой антивирус в целом и общем лучше лечит зараженные системы от современных вредоносных программ?

Понятно, что 100% результат никто не способен иметь в реальных условиях, но если смотреть на проблему лечения активного заражения в целом, то да, лидеры нашего тестирования в абсолютном большинстве будут лучше аутсайдеров это теста в лечении активного заражения, при прочих равных условиях. Даже если убрать все ограничения в методике (убийство процессов и т.п.).

Ограничения в выборе вредоносного кода введены и для того, чтобы можно было сосредоточится в тестировании на самой цели теста, не обращая внимания на косвенные, но вполне возможные в реальности проблемы. Чем хороша методика эта, что можно сказать, что изменив пару-тройку семплов нельзя кардинально изменить результаты.

Вот, можно ли взять тройку малвар в тест, которые соответствуют методике, но которых бы вылечил AV занявший одно из последних мест, но не вылечил(не смог обнаружить) один из лидеров теста? Это будет очень трудно (такое в принципе возможно...но будет скорее абстрагироваться от некой несовместимости одновременной работы малвары и одного из лидеров теста). В этом прелесть методики. Что от замены семплов, результат сильно не изменится.

Я бы, конечно, был бы рад, если бы мне кто-то предоставил методику теста, который бы позволил брать любые семплы и в любом одновременном количестве (прям как в реальности) и чтобы при их замене (скажем на 20-30%) результаты бы существенно не менялись.

[GReY 35]

Zillya!. Темная лошадка, нигде в тестированиях его не видно

http://www.pcsecuritylabs.net/document/rep...uly_2010_EN.pdf

лучше уж Nano проверить, хотя я в чудеса не верю

этот тест, один из не многих, способен ответить на вопрос: какой антивирус в целом и общем лучше лечит зараженные системы

он отвечает на вопрос, какие антивирусы наиболее искуссны в выявлении и обезвреживании особо сложных форм вредоносов.

он не учитывает степень распространённости заразы, не учитывает более простые в лечении инфекции. в результате у буржуев здешний лидер (Касперский) "летит" в большинстве тестов

[alexgr 556]

он не учитывает степень распространённости заразы, не учитывает более простые в лечении инфекции. в результате у буржуев здешний лидер (Касперский) "летит" в большинстве тестов

VB не проходит или у Клементи валится? Не нашел таких данных. Подбросьте фактографию, плз! Только не "журнальные" тесты

Кстати, приведенная вами ссылка вас же и опровергает

[strat 275]

он отвечает на вопрос, какие антивирусы наиболее искуссны в выявлении и обезвреживании особо сложных форм вредоносов.

он не учитывает степень распространённости заразы, не учитывает более простые в лечении инфекции. в результате у буржуев здешний лидер (Касперский) "летит" в большинстве тестов

хотя говорилось о другом но мысль появилась:

Вот возьмете вы 30 крутых вирей, кто-то их вылечит, кто-то нет, получатся результаты и медальки, а если немного приблизить это дело к реальности?

Т.е. берется статистика распространения вирусов, например из КСН, делается выборка по % и по типам, в результате получаем:

антивирус 1 справился с 28 угрозами из 30, но 2 пропущенных занимают 0,01% по распространенности среди всех обнаруженных за последние полгода.

антивирус 2 справился с 29 угрозами из 30, но 1 пропущенный занимает 5,55% по распространенности среди всех обнаруженных за последние полгода.

Данная факультативная версия защищенности с конкретным АВ будет интересна очень многим и места могут сильно поменяться.

[Сергей Ильин 1538]

Т.е. берется статистика распространения вирусов, например из КСН, делается выборка по % и по типам, в результате получаем:

Проблема только в том, что у нас нет своего KSN ... поэтому крое экспертной выборки по сути у нас нет адекватного выбора. А вто как там выбирают самплы Клименти и Марксы я не знал, у них тоже нет своих KSN и, судя по всем, берут они тупо все подряд.

[OlegAndr 236]

Вопрос определения Prevalence - наиболее интересный для всех. Собственно для того облака и существуют.

В топе кажется будут давно известные kido и кто там еще уже несколько лет?