Сергей Ильин

Тест самозащиты антивирусов II (результаты)

В этой теме 91 сообщений

Уважаемые коллеги!

Предлагаю вашему вниманию результаты второго по счету теста самозащиты антивирусных продуктов.

http://www.anti-malware.ru/self_protection_2009

Краткие результаты тестирования:

self-protection_platinum_sm.gif

Platinum Self-Protection Award

Dr.Web Security Space 5.0 (100%)

self-protection_gold_sm.gif

Gold Self-Protection Award

Outpost Security Suite Pro 2009 (96%)

Kaspersky Internet Security 2009 (93%)

Norton Internet Security 2009 (89%)

Avast! 4 Professional Edition 4.8 (87%)

VBA32 Personal 3.12 (80%)

self-protection_silver_sm.gif

Silver Self-Protection Award

ZoneAlarm Security Suite 8.0 (78%)

Panda Internet Security 2009 (62%)

self-protection_bronze_sm.gif

Bronze Self-Protection Award

F-Secure Internet Security 2009 (58%)

McAfee Internet Security 2009 (55%)

Microsoft Windows Live OneCare 2.5 (54%)

Trend Micro Internet Security 2009 (51%)

Avira Premium Security Suite 8.1 (50%)

ESET Smart Security 3.0 (49%)

BitDefender Internet Security 2009 (49%)

Тест провален

Sophos Anti-Virus 7.6 (33%)

Прогресс многих вендоров более чем очевиден, это заметно по большему количеству высоких наград. Да, впервые в истории у нас вручена награда Platinum Self-Protection Award! Прогресс победителя впечатляет.

Методология тестирования

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов. Это позволяет проводить параллели между настоящим и прошлым тестом, что мы и с делали.

Рисунок 1: Динамика изменения уровня самозащиты антивирусных программ

self-protection_dynamics.gif

*************************

Подробнее читайте http://www.anti-malware.ru/self_protection_2009

Как обычно ознакомиться с полным отчетом о тестировании можно в формате Excel и PDF

Жду ваших комментариев :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Вполне возможно, может даже и других тоже самое с драйверами делается. Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Замечание по тексту...

Динамика результатов теста позывает, что наибольшая работа по улучшению этого компонента защиты была проделана компаниями «Доктор Веб», Agnitum (Outpost), Avast, Symantec, «ВирусБлокАда» и Check Point (ZoneAlarm) – отличная работа!

Откуда тут взялся Agnitum (Outpost), если

Стоит отметить, что молодой продукт компании Agnitum - Outpost Security Suite Pro, ранее не участвующий в подобных тестах у нас, сразу же отлично показал себя

?

"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

UPD: Да, и ещё:

...

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов.

...

Не из-за этих ли добавленных тестов получилось так, что

Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

?

Может быть, дело просто в математике - то есть, де факто самозащита осталась на том же уровне, что и была, но из-за увеличения количества тестов снизился процент их прохождения?

Весьма спорный момент, в общем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

Поясню немного. Дело в том, что в первых версиях OSS самозащита была не такая сильная, как сейчас. Разработчики Agnitum докручивали этот функционал долго и упорно. Возможно, первый тест их от части промотивировал на это. Если что меня Виталий Янко поправит.

Не из-за этих ли добавленных тестов получилось так, что

Нет, это не так. Если сравните методологии 1-го и 2-го теста, то там добавилось ровно 5 методов в части защиты процессов (группа SendMessage API). КИС 8 просел по причине того, что получил минусы в File Permission Modification и Permission Modification of Registry Keys. В КИС 7 там было 1.5 балла (+ и +/-). Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Кстати, не совсем понятно, при чём тут task manager. Если сам пользователь хочет убрать процесс, то зачем ему мешать?

Ну и Kernel leve: если зловред прошёл на уровень ring0, то все эти ZwTerminateProcess/ZwTerminateThread- фигов листок. Я могу, например, убрать все нужные треды из системного шедулера- и всё, хана защите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ну и Kernel leve: если зловред прошёл на уровень ring0...
Задача была бы нереализуемой в рамках модели.

:rolleyes:

Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Почему в отчёте все цифры проставлены руками?

Мне лень пересчитывать, но есть явные ляпы:

f.gif

post-4003-1232109898_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

Поскольку Вы в данном тесте брали другой набор килл-утилит, не такой как в 2007 году, то сравнение я всёж считаю в приципе некорректно.

Доктор Веб поздравляю, релиз вышел с учётом существующих на момент выхода методов киляния.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

dr_dizel, спасибо, поправил ошибочку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

Не понятно...Так кто ошибся?

Те кто производил тест или те "которые антивирус"?

Защита своих ключей реестра:

модификация/удаление значимых ключей реестра (вручную):

ключи автозапуска;

ключи сервисов;

ключи конфигурации.

А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

:lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Те кто производил тест или те "которые антивирус"?

Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Призываю Вас перейти в более конструктивное русло, то есть к более конкретному представлению, ирония, как мне кажется, здесь не очень уместна.

Если Вы знаете как и что выноситься, подробно опишите суть, не надо бросаться громкими провокационными фразами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок ;)

P.S.

Призываю вас дать конкретный ответ...Ведь тестирование завершено и результаты получены ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Хочется услышать конкретный ответ без туманных формулировок wink.gif

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает? :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок

Вы о чем вообще? Откуда мне известно как работают в отделе QA в Лаборатории Касперского.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает? :lol:

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.
;)
Шаги проведения тестирования:

1.Установка антивирусной программы на чистую машину;

2.Перезагрузка системы;

3.Проверка успешной установки и работоспособности всех модулей программы;

На будущее-наверное 4 пункт должен быть обновление антивируса (или вам дают с самыми свежими модулями и базами?Насколько я знаю-не у всех антивирусов дистрибудтивы пересобираются раз в пол часа ).

Или обновление подразумевается? :blink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает?

Серьёзно?:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
При установке антивирусов использовались рекомендуемые производителем настройки по умолчанию и производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

Методология

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Серьёзно?smile.gif

Конечно же нет. Какой вопрос, такой и ответ :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Конечно же нет. Какой вопрос, такой и ответ :lol:

Какой тест-такой и вопрос....

Ждем тест на скорость запуска Paint :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Спасибо порталу за новый тест. Поздравляю победителя и призеров.

Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.
Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Спасибо за тест!

Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

А зачем? Что это покажет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А зачем? Что это покажет?

Видимо это покажет то, что они научились в отдельном потоке отслеживать свои перехваты и восстанавливать. Гипермозги!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Очень интересный и познавательный тест.

А вендорам продуктов класса Security, получившим серебро и бронзу стоит задуматься о способах защиты своих "агентов безопасности".

Что толку от защиты, чья гвардия не стоит на ногах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Зачем переспрашивать одно и тоже по несколько раз? Тестирование, как часть процесса разработки, не может найти всех проблем, на это влияют сроки проекта, качество организации процессов тестирования, квалификация тест-дизайнеров и т.д., это нормальная ситуация. По результатам теста очевидно, что к ЛК это относится в меньшей степени чем к большинству других вендоров. Контроль качества не может допустить ошибку, он может ее найти и сделать так, чтобы ее исправили. Очень даже вероятно, что в отделах тестирования вендоров знают об этих проблемах, но разработка со своей стороны (или руководство) не посчитала нужным это поправить и поставила низкий приоритет.

Для тестов нашего портала функция контроля качества продуктов защиты носит второстепенный характер, акцент делается на сравнительные характеристики, то есть создание дополнительных критериев выбора и их количественная оценка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • PR55.RP55
      cmad Если у вас на PC вирус - то вам нужно обратиться на один из специализированных форумов. Так в Случае, если у вас антивирус от: Kaspersky - то на их форум:  https://forum.kasperskyclub.ru/index.php?showforum=26 Dr.Web -то: https://forum.drweb.com/index.php?showforum=35 ESET NOD32: https://forum.esetnod32.ru/forum35/ Это нужно, чтобы удалить вирус и бесплатно расшифровать ваши файлы ( если возможно ).  
    • cmad
      кто нибудь лечился от шифровальщика ?  научите как...
    • djum
      Ну, вообще сейчас полно антивирусов на андроид... Правда не знаю, насколько он функциональны... У меня NOD стоит, поставил его себе потому что на обзорах Гикхакера вроде как один из лучших.. Хотя и каспера вроде хвалят... Но тут уже конечно каждый под себя выбирает, что удобнее и вкуснее лично для него...
    • djum
      А вообще конечно тема и нтересная... Кто-нибудь юзал фришного Каспера? У меня то лицуха вот уже как 3  года, но посмотрел порылся, на Гикхакере допустим его хвалят, а вот на 4пда не самые лучшие отзывы... Интересно было бы отзывы от реальных пользователей услышать...
    • AM_Bot
      Глава Fortinet в России рассказал Anti-Malware.ru о рынке сетевой безопасности и особенностях конкуренции в нашей стране, а также о том, что стоит за понятием Security Fabric и почему физические фаерволы популярнее виртуальных. Читать далее