Тест на лечение активного заражения V (результаты)

[Сергей Ильин 1538]

Уважаемые коллеги, рад анонсировать результаты нашего нового теста антивирусов на лечение активного заражения или, говоря по простому, удаления сложных видов вирусов.

Методология теста опубликована здесь

Мы постарались учесть все ваши пожелания на этапе подготовки теста.

В итоге тест успешно прошли только 6 антивирусных продуктов:

Platinum Malware Treatment Award

Kaspersky Internet Security 2011 (100%)

Gold Malware Treatment Award

Dr.Web Security Space 6.0 (94%)

Silver Malware Treatment Award

Microsoft Security Essentials 2.0 (65%)

Bronze Malware Treatment Award

Avast! Internet Security 6.0 (53%)

F-Secure Internet Security 2011 (47%)

Norton Internet Security 2011 (47%)

AVG Internet Security 2011 (41%)

http://www.anti-malware.ru/malware_treatment_test_2011

Подробные результаты можно посмотреть в Excel http://www.anti-malware.ru/files/active_infection_test5.xls

***********************

Теперь хотел бы ответить на вопрос: "Почему так долго?" Тест начали мы еще в самом начале мая реально, но потеряли кучу времени ожидая детектов от многих участников тестирования. Вы не могли отправлять им самплы от лица Anti-malware.ru, нужно было действовать анонимно. И вот тут было много проблем. Особенно с такими сложными вредоносами типа TDL3-4 и Senowal - кто-то не торопился добавлять детект, кто-то вообще отрицал их опасность и говорит, что файлы чистые.

В итоге мы вынуждены были по некоторым так и оставить, занеся им в зачет минус и сделав в файле пометки (!). В предыдущих тестах такие проблемы были, но все же не в таком масштабе и детект всегда появлялся в разумные сроки, а тут ... какая-то деградация прямо.

Плюс к этому тест сам по себе не быстрый, только на проверку результатов мы убили добрые две недели.

О деталях я думаю с удовольствием расскажут наши тестировщики, непосредственно участвовашие в процессе.

***********************

Большое спасибо всем, кто помогал в подготовке теста! Ну и конечно же самим тестировщикам, вот они:

Александр Шевцов

Алексей Баранов

Вячеслав Копейцев

[Ильгиз 0]

Аваст третий, правда 53 это результат на тройку, как я понимаю. Интересно бесплатная версия не сильно хуже?

[Сергей Ильин 1538]

Аваст третий, правда 53 это результат на тройку, как я понимаю. Интересно бесплатная версия не сильно хуже?

Лечение не должно зависеть от "комплектации", так как это свойство антивирусного движка, а он во всех версиях версии вроде как одинаковый.

[sww 486]

Я, в общем, уже все сказал в комментарии, однако, хотел бы добавить, что вендорам, которые после многочисленных посылок так и не удосужились добавить сэмплы, присваивается звание - "Шараги"

[ntoskrnl 155]

Чего это с доктором случилось, что он русток не победил?

Комодо, в принципе не предназначенный для лечения на уровне супер-пупер Г-Даты? Обалдеть можно.

[strat 275]

нет комментариев от вендоров, нечего комментировать, как и нечего лечить "отрицал их опасность и говорит, что файлы чистые"

интересно, надо будет подробней табличку рассмотреть.

[sergey ulasen 200]

Илья, поздравляю! Огромная работа. Этим тестом как всегда расставили все по своим местам.

Вячеслав Русаков, подписываюсь под каждым словом в комментарии к тесту.

[Pavel Yablonskiy 20]

Глядя на результаты можно сказать только одно: "Душераздирающие зрелище" © Ослик Иа

[ALEX(XX) 60]

Честно, я ожидал намного более лучших результатов от тестируемых продуктов. Приступая к этому тесту я ожидал (что вполне логично), что результаты, по сравнению с прошлогодним тестом, улучшатся. Но как показывают итоговые сводки - "не все так сталося, як гадалося". Впринципе, этот тест только укрепил мои подозрения в том, что АВ не предназначены для лечения, не дать попасть - да, а уж если попало, ну, что ж, дело десятое и обычно сводится к переустановке системы.

Мне вот даже кажется, что особого смысла покупать АВ - нет. Что платный, что бесплатный - зачастую результат один и тот же. Разница в детекте, у кого-то чуть больше, у кого-то - меньше. Ну а высокотехнологичное новьё обычно прощёлкивают все.

По самому тесту. Как я уже писал, результаты либо ухудшились, либо остались на уровне. К примеру SubSys, как АВ валили систему в глухой БСОД при удалении base32*.dll, так и продолжают валить. Видно, что подход к самой процедуре лечения поверхностный: детектим компоненты, удаляем файлы, авось заработает после этого. Не дело это, ИМХО.

Но тут, видимо, сказывается разный подход к концепции АВ. Одни компании считают, что лечение это важный аспект работы АВ, другие - что важно не допустить заражения ПК. Кто из них больше прав, не знаю.

[Ego Dekker 111]

Сергей Ильин, будет здорово, если новые тесты будут публиковаться в англоязычной версии сайта.

[Сергей Ильин 1538]

Сергей Ильин, будет здорово, если новые тесты будут публиковаться в англоязычной версии сайта.

Обязательно будут! Мы ее сейчас серьезно переделываем, поэтому несколько забросили текущую реализацию

[Sansero.ee 121]

Ух ты, как сильно то болты закручивать надо... Касперский - молодец, честно говоря не ожидал(скорее даже надеялся на провал, но это что0то личное... ).

Кол-во провалившихся ничуть не удивляет, я бы вообще всех до <50% провалил бы...

А ещёб cd/usb лечилками бы прошелся, всё же заведомо зараженную систему лечить то лучше так...(но это мысли вслух)

[Denis Lipnicky 110]

Список провалившихся конечно "впечатляет". Не думал если честно, что их будет столько.

[sbelow 120]

Вынужден согласится с предыдущем постом, список проваливших тест действительно впечатляет!

Буду честен, убедили, а с целью "успокоения души" последую совету и проверю свой компьютер при помощи специализированных утилит Kaspersky AVPTool или Dr.Web CureIt!

Надеюсь, что ничего удивительного не увижу.

Поехали ... :-)

[RuJN 21]

А почему ВБА32 в тесте не участвовали?

[ntoskrnl 155]

Вынужден согласится с предыдущем постом, список проваливших тест действительно впечатляет!

Почему? Лично я примерно такую картину и ожидал увидеть, разве что думал у Г-Даты с Битдефендером результаты будут чуть лучше. И вполне согласен с ALEX(XX), вполне просматривается тенденция от лечения к недопущению заражения. Одно дело было лечить в старые добрые времена разных янки-дудлей, другое дело сейчас, "радоваться" что вылечился какой-нибудь зевс или гпкод, предварительно утащившие деньги или превратившие доки в кучу RSA-мусора. Да и программ, позволящих за пару минут поднять чистый утренний бэкап сейчас пруд пруди. Правда, с предотвращением заражения у очень многих продуктов всё ещё не ахти как дела обстоят, но это уже другой разговор.

P.S. Ещё хотел бы спросить авторов, что они думают по поводу чуть-чуть изменить итоговую табличку, может быть просто цвет ячейки, так, чтобы было видно, когда был детект, но не удалось лечение, а когда не было даже детекта. Просто сейчас не совсем удобно прыгать по индивидуальным табличкам, да и кто это станет делать... А так тоже некоторый показатель, хоть и не совсем однозначный, правда.

P.P.S.

Тут вот товарищи интересуются, а где вы взяли "интегрированный SP4" для XP?

[Сергей Ильин 1538]

А почему ВБА32 в тесте не участвовали?

Обычно мы брали в тест Антивирус VBA32, но сейчас решили этого не делать. Это обсуждалось у нас форуме на этапе обсуждения. Дело в том, что ВирусБлокАда имеет в своем арсенале достаточно мощный антируткит VBA32 Antirootkit 3.12, который очень хорошо показывал себя в наших специальных тестах антируткитов. Вот наиболее свежий из них http://www.anti-malware.ru/antirootkits_test_2010 Этот антируткит поставляется в качестве отдельной утилиты и его логика работы принципиально отлично от автоматизированных процедур лечения, используемых в популярных антивирусных продуктах. Можете скачать и сами убедиться http://www.anti-malware.ru/forum/index.php?showtopic=7367

Таким образом, если брать в тест Антивирус VBA32, то следует тестировать его в автоматическом режиме, без использования функционала антируткита (он идет в комплекте, насколько я помню, но отдельными файлами). И результат такого теста будет унылым, примерно вот таким http://www.anti-malware.ru/malware_treatment_test_2010, так как компания сосредоточилась на развитии именно отдельного антируткита, а встраивать его как-то в сам антивирус, интегрировать их между собой пока видимо нет ресурсов. С другой стороны плохие результаты будут несправедливыми, так как антируткит, как средство обнаружения и удаления, там есть!

Вот такая вот дилема. Отсюда мы приняли решения не включать VBA32 в такие тесты, пока описанная выше ситуация с продуктами не изменится. Какой смысла в этом? Пустая бессмысленная работа будет.

Отчасти это все касалось и антивируса Eset Nod32 (Smart Security), там тоже есть Eset SysInspector.

[StarStream 55]

Лечение не должно зависеть от "комплектации", так как это свойство антивирусного движка

IMHO, в сборке 6.0.1203 разработчики Avast улучшили детектирование и лечение руткитов семейства TDL. В тестах anti-malware участвовала сборка 6.0.1000. Отсюда возникает несколько вопросов: 1) Avast детектирует те зловреды, которые он не смог вылечить в режиме реального времени в ходе тестирования? 2) Насколько велик риск заражения ПК этими зловредами с учетом технологии Avast! AutoSandbox и других фич? Интересует именно возможность заражения чистой системы теми зловредами, которые были в тестах при работающем Avast! 6x

[Сергей Ильин 1538]

P.S. Ещё хотел бы спросить авторов, что они думают по поводу чуть-чуть изменить итоговую табличку, может быть просто цвет ячейки, так, чтобы было видно, когда был детект, но не удалось лечение, а когда не было даже детекта. Просто сейчас не совсем удобно прыгать по индивидуальным табличкам, да и кто это станет делать... А так тоже некоторый показатель, хоть и не совсем однозначный, правда.

Не пошли на это по причине того, что если уж совсем формально подходить, то отсутсвие детекта - это некоторое отхождение от методологии тестирования. Мы должны были дождаться детекта! Но мы не могли этого ждать до Нового года, и не могли давить на вендоров, связываясь с ними от лица тестовой лаборатории. В итоге мы казались в своего рода тупике, вендоры не добавляют, не хотят разбираться, предпочитают не париться и т.п. и "тест подвисает" на неопределенное время.

В итоге волевым решением все были проставлены минусы и результаты зарелизили, но заострять на этом факте внимание мне бы не очень хотелось, так как это некий компромис между сторогой методологией и здравым смыслом.

1) Avast детектирует те зловреды, которые он не смог вылечить в режиме реального времени в ходе тестирования?

Да, Avast детектирует ВСЕ вредоносные программы, отобранные для теста. С этим вендором обсуждаемых выше проблемы не было

2)Насколько велик риск заражения ПК этими зловредами с учетом технологии Avast! AutoSandbox и других фич?

Насколько я понимаю, методы доставки и заражения постоянно меняются, т.е. сам "инфектор" теоретически может отработать успешно. А дальше завист от того, кто окажется сильнее Вообще интересный был бы мини-тест, но не показательный, скорее больше как некоторое полевое исследование под конкретного вендора.

[StarStream 55]

не хотят разбираться, предпочитают не париться и т.п.

Вопрос снят, сорри

[Сергей Ильин 1538]

Если это не секрет, в их числе были Avast Software?

Нет! Ответил выше

[wert 60]

Пустая бессмысленная работа будет.

Эти слова прекрасны, безумно прекрасны.

[Сергей Ильин 1538]

Эти слова прекрасны, безумно прекрасны.

Интересно ЧЕМ же они так зацепили то?

[NOSS 130]

P.P.S.

Тут вот товарищи интересуются, а где вы взяли "интегрированный SP4" для XP?

Прошло как-то незамеченным...

[Сергей Ильин 1538]

Прошло как-то незамеченным...

Это опечатка Хотя некоторые часто пишут про некий SP4 как некий набор секьюрити-патчей, выходивших уже после SP3 и после завершения офф. поддержки XP со стороны Microsoft.