Перейти к содержанию
Сергей Ильин

Тест самозащиты антивирусов II (результаты)

Recommended Posts

Сергей Ильин

Уважаемые коллеги!

Предлагаю вашему вниманию результаты второго по счету теста самозащиты антивирусных продуктов.

http://www.anti-malware.ru/self_protection_2009

Краткие результаты тестирования:

self-protection_platinum_sm.gif

Platinum Self-Protection Award

Dr.Web Security Space 5.0 (100%)

self-protection_gold_sm.gif

Gold Self-Protection Award

Outpost Security Suite Pro 2009 (96%)

Kaspersky Internet Security 2009 (93%)

Norton Internet Security 2009 (89%)

Avast! 4 Professional Edition 4.8 (87%)

VBA32 Personal 3.12 (80%)

self-protection_silver_sm.gif

Silver Self-Protection Award

ZoneAlarm Security Suite 8.0 (78%)

Panda Internet Security 2009 (62%)

self-protection_bronze_sm.gif

Bronze Self-Protection Award

F-Secure Internet Security 2009 (58%)

McAfee Internet Security 2009 (55%)

Microsoft Windows Live OneCare 2.5 (54%)

Trend Micro Internet Security 2009 (51%)

Avira Premium Security Suite 8.1 (50%)

ESET Smart Security 3.0 (49%)

BitDefender Internet Security 2009 (49%)

Тест провален

Sophos Anti-Virus 7.6 (33%)

Прогресс многих вендоров более чем очевиден, это заметно по большему количеству высоких наград. Да, впервые в истории у нас вручена награда Platinum Self-Protection Award! Прогресс победителя впечатляет.

Методология тестирования

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов. Это позволяет проводить параллели между настоящим и прошлым тестом, что мы и с делали.

Рисунок 1: Динамика изменения уровня самозащиты антивирусных программ

self-protection_dynamics.gif

*************************

Подробнее читайте http://www.anti-malware.ru/self_protection_2009

Как обычно ознакомиться с полным отчетом о тестировании можно в формате Excel и PDF

Жду ваших комментариев :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Вполне возможно, может даже и других тоже самое с драйверами делается. Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent

Замечание по тексту...

Динамика результатов теста позывает, что наибольшая работа по улучшению этого компонента защиты была проделана компаниями «Доктор Веб», Agnitum (Outpost), Avast, Symantec, «ВирусБлокАда» и Check Point (ZoneAlarm) – отличная работа!

Откуда тут взялся Agnitum (Outpost), если

Стоит отметить, что молодой продукт компании Agnitum - Outpost Security Suite Pro, ранее не участвующий в подобных тестах у нас, сразу же отлично показал себя

?

"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

UPD: Да, и ещё:

...

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов.

...

Не из-за этих ли добавленных тестов получилось так, что

Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

?

Может быть, дело просто в математике - то есть, де факто самозащита осталась на том же уровне, что и была, но из-за увеличения количества тестов снизился процент их прохождения?

Весьма спорный момент, в общем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

Поясню немного. Дело в том, что в первых версиях OSS самозащита была не такая сильная, как сейчас. Разработчики Agnitum докручивали этот функционал долго и упорно. Возможно, первый тест их от части промотивировал на это. Если что меня Виталий Янко поправит.

Не из-за этих ли добавленных тестов получилось так, что

Нет, это не так. Если сравните методологии 1-го и 2-го теста, то там добавилось ровно 5 методов в части защиты процессов (группа SendMessage API). КИС 8 просел по причине того, что получил минусы в File Permission Modification и Permission Modification of Registry Keys. В КИС 7 там было 1.5 балла (+ и +/-). Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Кстати, не совсем понятно, при чём тут task manager. Если сам пользователь хочет убрать процесс, то зачем ему мешать?

Ну и Kernel leve: если зловред прошёл на уровень ring0, то все эти ZwTerminateProcess/ZwTerminateThread- фигов листок. Я могу, например, убрать все нужные треды из системного шедулера- и всё, хана защите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Ну и Kernel leve: если зловред прошёл на уровень ring0...
Задача была бы нереализуемой в рамках модели.

:rolleyes:

Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Почему в отчёте все цифры проставлены руками?

Мне лень пересчитывать, но есть явные ляпы:

f.gif

post-4003-1232109898_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

Поскольку Вы в данном тесте брали другой набор килл-утилит, не такой как в 2007 году, то сравнение я всёж считаю в приципе некорректно.

Доктор Веб поздравляю, релиз вышел с учётом существующих на момент выхода методов киляния.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

dr_dizel, спасибо, поправил ошибочку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

Не понятно...Так кто ошибся?

Те кто производил тест или те "которые антивирус"?

Защита своих ключей реестра:

модификация/удаление значимых ключей реестра (вручную):

ключи автозапуска;

ключи сервисов;

ключи конфигурации.

А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

:lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Те кто производил тест или те "которые антивирус"?

Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Призываю Вас перейти в более конструктивное русло, то есть к более конкретному представлению, ирония, как мне кажется, здесь не очень уместна.

Если Вы знаете как и что выноситься, подробно опишите суть, не надо бросаться громкими провокационными фразами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок ;)

P.S.

Призываю вас дать конкретный ответ...Ведь тестирование завершено и результаты получены ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Хочется услышать конкретный ответ без туманных формулировок wink.gif

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает? :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок

Вы о чем вообще? Откуда мне известно как работают в отделе QA в Лаборатории Касперского.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает? :lol:

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.
;)
Шаги проведения тестирования:

1.Установка антивирусной программы на чистую машину;

2.Перезагрузка системы;

3.Проверка успешной установки и работоспособности всех модулей программы;

На будущее-наверное 4 пункт должен быть обновление антивируса (или вам дают с самыми свежими модулями и базами?Насколько я знаю-не у всех антивирусов дистрибудтивы пересобираются раз в пол часа ).

Или обновление подразумевается? :blink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает?

Серьёзно?:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При установке антивирусов использовались рекомендуемые производителем настройки по умолчанию и производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

Методология

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Серьёзно?smile.gif

Конечно же нет. Какой вопрос, такой и ответ :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Конечно же нет. Какой вопрос, такой и ответ :lol:

Какой тест-такой и вопрос....

Ждем тест на скорость запуска Paint :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Спасибо порталу за новый тест. Поздравляю победителя и призеров.

Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.
Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen

Спасибо за тест!

Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

А зачем? Что это покажет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
А зачем? Что это покажет?

Видимо это покажет то, что они научились в отдельном потоке отслеживать свои перехваты и восстанавливать. Гипермозги!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Очень интересный и познавательный тест.

А вендорам продуктов класса Security, получившим серебро и бронзу стоит задуматься о способах защиты своих "агентов безопасности".

Что толку от защиты, чья гвардия не стоит на ногах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Зачем переспрашивать одно и тоже по несколько раз? Тестирование, как часть процесса разработки, не может найти всех проблем, на это влияют сроки проекта, качество организации процессов тестирования, квалификация тест-дизайнеров и т.д., это нормальная ситуация. По результатам теста очевидно, что к ЛК это относится в меньшей степени чем к большинству других вендоров. Контроль качества не может допустить ошибку, он может ее найти и сделать так, чтобы ее исправили. Очень даже вероятно, что в отделах тестирования вендоров знают об этих проблемах, но разработка со своей стороны (или руководство) не посчитала нужным это поправить и поставила низкий приоритет.

Для тестов нашего портала функция контроля качества продуктов защиты носит второстепенный характер, акцент делается на сравнительные характеристики, то есть создание дополнительных критериев выбора и их количественная оценка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×