Сергей Ильин

Тест на лечение активного заражения V (результаты)

В этой теме 231 сообщений

Уважаемые коллеги, рад анонсировать результаты нашего нового теста антивирусов на лечение активного заражения или, говоря по простому, удаления сложных видов вирусов.

Методология теста опубликована здесь

Мы постарались учесть все ваши пожелания на этапе подготовки теста.

В итоге тест успешно прошли только 6 антивирусных продуктов:

active_infection_platinum_sm.gif

Platinum Malware Treatment Award

Kaspersky Internet Security 2011 (100%)

active_infection_gold_sm.gif

Gold Malware Treatment Award

Dr.Web Security Space 6.0 (94%)

active_infection_silver_sm.gif

Silver Malware Treatment Award

Microsoft Security Essentials 2.0 (65%)

active_infection_bronze_sm.gif

Bronze Malware Treatment Award

Avast! Internet Security 6.0 (53%)

F-Secure Internet Security 2011 (47%)

Norton Internet Security 2011 (47%)

AVG Internet Security 2011 (41%)

http://www.anti-malware.ru/malware_treatment_test_2011

Подробные результаты можно посмотреть в Excel http://www.anti-malware.ru/files/active_infection_test5.xls

***********************

Теперь хотел бы ответить на вопрос: "Почему так долго?" Тест начали мы еще в самом начале мая реально, но потеряли кучу времени ожидая детектов от многих участников тестирования. Вы не могли отправлять им самплы от лица Anti-malware.ru, нужно было действовать анонимно. И вот тут было много проблем. Особенно с такими сложными вредоносами типа TDL3-4 и Senowal - кто-то не торопился добавлять детект, кто-то вообще отрицал их опасность и говорит, что файлы чистые.

В итоге мы вынуждены были по некоторым так и оставить, занеся им в зачет минус и сделав в файле пометки (!). В предыдущих тестах такие проблемы были, но все же не в таком масштабе и детект всегда появлялся в разумные сроки, а тут ... какая-то деградация прямо.

Плюс к этому тест сам по себе не быстрый, только на проверку результатов мы убили добрые две недели.

О деталях я думаю с удовольствием расскажут наши тестировщики, непосредственно участвовашие в процессе.

***********************

Большое спасибо всем, кто помогал в подготовке теста! Ну и конечно же самим тестировщикам, вот они:

Александр Шевцов

Алексей Баранов

Вячеслав Копейцев

:beer:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Аваст третий, правда 53 это результат на тройку, как я понимаю. Интересно бесплатная версия не сильно хуже?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Аваст третий, правда 53 это результат на тройку, как я понимаю. Интересно бесплатная версия не сильно хуже?

Лечение не должно зависеть от "комплектации", так как это свойство антивирусного движка, а он во всех версиях версии вроде как одинаковый.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я, в общем, уже все сказал в комментарии, однако, хотел бы добавить, что вендорам, которые после многочисленных посылок так и не удосужились добавить сэмплы, присваивается звание - "Шараги" :lol:

  • Upvote 10

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Чего это с доктором случилось, что он русток не победил? :blink:

Комодо, в принципе не предназначенный для лечения на уровне супер-пупер Г-Даты? Обалдеть можно. :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

нет комментариев от вендоров, нечего комментировать, как и нечего лечить "отрицал их опасность и говорит, что файлы чистые"

интересно, надо будет подробней табличку рассмотреть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Илья, поздравляю! Огромная работа. Этим тестом как всегда расставили все по своим местам.

Вячеслав Русаков, подписываюсь под каждым словом в комментарии к тесту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Глядя на результаты можно сказать только одно: "Душераздирающие зрелище" © Ослик Иа

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Честно, я ожидал намного более лучших результатов от тестируемых продуктов. Приступая к этому тесту я ожидал (что вполне логично), что результаты, по сравнению с прошлогодним тестом, улучшатся. Но как показывают итоговые сводки - "не все так сталося, як гадалося". Впринципе, этот тест только укрепил мои подозрения в том, что АВ не предназначены для лечения, не дать попасть - да, а уж если попало, ну, что ж, дело десятое и обычно сводится к переустановке системы.

Мне вот даже кажется, что особого смысла покупать АВ - нет. Что платный, что бесплатный - зачастую результат один и тот же. Разница в детекте, у кого-то чуть больше, у кого-то - меньше. Ну а высокотехнологичное новьё обычно прощёлкивают все.

По самому тесту. Как я уже писал, результаты либо ухудшились, либо остались на уровне. К примеру SubSys, как АВ валили систему в глухой БСОД при удалении base32*.dll, так и продолжают валить. Видно, что подход к самой процедуре лечения поверхностный: детектим компоненты, удаляем файлы, авось заработает после этого. Не дело это, ИМХО.

Но тут, видимо, сказывается разный подход к концепции АВ. Одни компании считают, что лечение это важный аспект работы АВ, другие - что важно не допустить заражения ПК. Кто из них больше прав, не знаю.

  • Upvote 15

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Сергей Ильин, будет здорово, если новые тесты будут публиковаться в англоязычной версии сайта.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин, будет здорово, если новые тесты будут публиковаться в англоязычной версии сайта.

Обязательно будут! Мы ее сейчас серьезно переделываем, поэтому несколько забросили текущую реализацию ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ух ты, как сильно то болты закручивать надо... Касперский - молодец, честно говоря не ожидал(скорее даже надеялся на провал, но это что0то личное... ).

Кол-во провалившихся ничуть не удивляет, я бы вообще всех до <50% провалил бы...

А ещёб cd/usb лечилками бы прошелся, всё же заведомо зараженную систему лечить то лучше так...(но это мысли вслух)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Список провалившихся конечно "впечатляет". Не думал если честно, что их будет столько.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Вынужден согласится с предыдущем постом, список проваливших тест действительно впечатляет!

Буду честен, убедили, а с целью "успокоения души" последую совету и проверю свой компьютер при помощи специализированных утилит Kaspersky AVPTool или Dr.Web CureIt!

Надеюсь, что ничего удивительного не увижу.

Поехали ... :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А почему ВБА32 в тесте не участвовали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вынужден согласится с предыдущем постом, список проваливших тест действительно впечатляет!

Почему? Лично я примерно такую картину и ожидал увидеть, разве что думал у Г-Даты с Битдефендером результаты будут чуть лучше. И вполне согласен с ALEX(XX), вполне просматривается тенденция от лечения к недопущению заражения. Одно дело было лечить в старые добрые времена разных янки-дудлей, другое дело сейчас, "радоваться" что вылечился какой-нибудь зевс или гпкод, предварительно утащившие деньги или превратившие доки в кучу RSA-мусора. Да и программ, позволящих за пару минут поднять чистый утренний бэкап сейчас пруд пруди. Правда, с предотвращением заражения у очень многих продуктов всё ещё не ахти как дела обстоят, но это уже другой разговор.

P.S. Ещё хотел бы спросить авторов, что они думают по поводу чуть-чуть изменить итоговую табличку, может быть просто цвет ячейки, так, чтобы было видно, когда был детект, но не удалось лечение, а когда не было даже детекта. Просто сейчас не совсем удобно прыгать по индивидуальным табличкам, да и кто это станет делать... :) А так тоже некоторый показатель, хоть и не совсем однозначный, правда.

P.P.S.

Тут вот товарищи интересуются, :) а где вы взяли "интегрированный SP4" для XP? :blink::rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А почему ВБА32 в тесте не участвовали?

Обычно мы брали в тест Антивирус VBA32, но сейчас решили этого не делать. Это обсуждалось у нас форуме на этапе обсуждения. Дело в том, что ВирусБлокАда имеет в своем арсенале достаточно мощный антируткит VBA32 Antirootkit 3.12, который очень хорошо показывал себя в наших специальных тестах антируткитов. Вот наиболее свежий из них http://www.anti-malware.ru/antirootkits_test_2010 Этот антируткит поставляется в качестве отдельной утилиты и его логика работы принципиально отлично от автоматизированных процедур лечения, используемых в популярных антивирусных продуктах. Можете скачать и сами убедиться http://www.anti-malware.ru/forum/index.php?showtopic=7367

Таким образом, если брать в тест Антивирус VBA32, то следует тестировать его в автоматическом режиме, без использования функционала антируткита (он идет в комплекте, насколько я помню, но отдельными файлами). И результат такого теста будет унылым, примерно вот таким http://www.anti-malware.ru/malware_treatment_test_2010, так как компания сосредоточилась на развитии именно отдельного антируткита, а встраивать его как-то в сам антивирус, интегрировать их между собой пока видимо нет ресурсов. С другой стороны плохие результаты будут несправедливыми, так как антируткит, как средство обнаружения и удаления, там есть!

Вот такая вот дилема. Отсюда мы приняли решения не включать VBA32 в такие тесты, пока описанная выше ситуация с продуктами не изменится. Какой смысла в этом? Пустая бессмысленная работа будет.

Отчасти это все касалось и антивируса Eset Nod32 (Smart Security), там тоже есть Eset SysInspector.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Лечение не должно зависеть от "комплектации", так как это свойство антивирусного движка

IMHO, в сборке 6.0.1203 разработчики Avast улучшили детектирование и лечение руткитов семейства TDL. В тестах anti-malware участвовала сборка 6.0.1000. Отсюда возникает несколько вопросов: 1) Avast детектирует те зловреды, которые он не смог вылечить в режиме реального времени в ходе тестирования? 2) Насколько велик риск заражения ПК этими зловредами с учетом технологии Avast! AutoSandbox и других фич? Интересует именно возможность заражения чистой системы теми зловредами, которые были в тестах при работающем Avast! 6x :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
P.S. Ещё хотел бы спросить авторов, что они думают по поводу чуть-чуть изменить итоговую табличку, может быть просто цвет ячейки, так, чтобы было видно, когда был детект, но не удалось лечение, а когда не было даже детекта. Просто сейчас не совсем удобно прыгать по индивидуальным табличкам, да и кто это станет делать... А так тоже некоторый показатель, хоть и не совсем однозначный, правда.

Не пошли на это по причине того, что если уж совсем формально подходить, то отсутсвие детекта - это некоторое отхождение от методологии тестирования. Мы должны были дождаться детекта! Но мы не могли этого ждать до Нового года, и не могли давить на вендоров, связываясь с ними от лица тестовой лаборатории. В итоге мы казались в своего рода тупике, вендоры не добавляют, не хотят разбираться, предпочитают не париться и т.п. и "тест подвисает" на неопределенное время.

В итоге волевым решением все были проставлены минусы и результаты зарелизили, но заострять на этом факте внимание мне бы не очень хотелось, так как это некий компромис между сторогой методологией и здравым смыслом.

1) Avast детектирует те зловреды, которые он не смог вылечить в режиме реального времени в ходе тестирования?

Да, Avast детектирует ВСЕ вредоносные программы, отобранные для теста. С этим вендором обсуждаемых выше проблемы не было ;)

2)Насколько велик риск заражения ПК этими зловредами с учетом технологии Avast! AutoSandbox и других фич?

Насколько я понимаю, методы доставки и заражения постоянно меняются, т.е. сам "инфектор" теоретически может отработать успешно. А дальше завист от того, кто окажется сильнее :) Вообще интересный был бы мини-тест, но не показательный, скорее больше как некоторое полевое исследование под конкретного вендора.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
не хотят разбираться, предпочитают не париться и т.п.

Вопрос снят, сорри :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если это не секрет, в их числе были Avast Software?

Нет! Ответил выше ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Пустая бессмысленная работа будет.

Эти слова прекрасны, безумно прекрасны.:(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Эти слова прекрасны, безумно прекрасны.

Интересно ЧЕМ же они так зацепили то? :blink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
P.P.S.

Тут вот товарищи интересуются, а где вы взяли "интегрированный SP4" для XP?

Прошло как-то незамеченным...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Прошло как-то незамеченным...

Это опечатка :) Хотя некоторые часто пишут про некий SP4 как некий набор секьюрити-патчей, выходивших уже после SP3 и после завершения офф. поддержки XP со стороны Microsoft.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS