Перейти к содержанию
Сергей Ильин

Тест самозащиты антивирусов II (результаты)

Recommended Posts

Сергей Ильин

Уважаемые коллеги!

Предлагаю вашему вниманию результаты второго по счету теста самозащиты антивирусных продуктов.

http://www.anti-malware.ru/self_protection_2009

Краткие результаты тестирования:

self-protection_platinum_sm.gif

Platinum Self-Protection Award

Dr.Web Security Space 5.0 (100%)

self-protection_gold_sm.gif

Gold Self-Protection Award

Outpost Security Suite Pro 2009 (96%)

Kaspersky Internet Security 2009 (93%)

Norton Internet Security 2009 (89%)

Avast! 4 Professional Edition 4.8 (87%)

VBA32 Personal 3.12 (80%)

self-protection_silver_sm.gif

Silver Self-Protection Award

ZoneAlarm Security Suite 8.0 (78%)

Panda Internet Security 2009 (62%)

self-protection_bronze_sm.gif

Bronze Self-Protection Award

F-Secure Internet Security 2009 (58%)

McAfee Internet Security 2009 (55%)

Microsoft Windows Live OneCare 2.5 (54%)

Trend Micro Internet Security 2009 (51%)

Avira Premium Security Suite 8.1 (50%)

ESET Smart Security 3.0 (49%)

BitDefender Internet Security 2009 (49%)

Тест провален

Sophos Anti-Virus 7.6 (33%)

Прогресс многих вендоров более чем очевиден, это заметно по большему количеству высоких наград. Да, впервые в истории у нас вручена награда Platinum Self-Protection Award! Прогресс победителя впечатляет.

Методология тестирования

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов. Это позволяет проводить параллели между настоящим и прошлым тестом, что мы и с делали.

Рисунок 1: Динамика изменения уровня самозащиты антивирусных программ

self-protection_dynamics.gif

*************************

Подробнее читайте http://www.anti-malware.ru/self_protection_2009

Как обычно ознакомиться с полным отчетом о тестировании можно в формате Excel и PDF

Жду ваших комментариев :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel

Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Если мне не изменяет память, то в процессе System потокам spider.sys и SandBox.sys спокойно делается suspend.

Вполне возможно, может даже и других тоже самое с драйверами делается. Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dot_sent

Замечание по тексту...

Динамика результатов теста позывает, что наибольшая работа по улучшению этого компонента защиты была проделана компаниями «Доктор Веб», Agnitum (Outpost), Avast, Symantec, «ВирусБлокАда» и Check Point (ZoneAlarm) – отличная работа!

Откуда тут взялся Agnitum (Outpost), если

Стоит отметить, что молодой продукт компании Agnitum - Outpost Security Suite Pro, ранее не участвующий в подобных тестах у нас, сразу же отлично показал себя

?

"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

UPD: Да, и ещё:

...

Методология теста практически не отличается от той, что была использована в прошлый раз в августе 2007 года. Было лишь добавлено несколько доп. тестов в части проверки защиты процессов.

...

Не из-за этих ли добавленных тестов получилось так, что

Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

?

Может быть, дело просто в математике - то есть, де факто самозащита осталась на том же уровне, что и была, но из-за увеличения количества тестов снизился процент их прохождения?

Весьма спорный момент, в общем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
"Проделанная работа по улучшению компонента" подразумевает, что было проведено минимум два тестирования и по их результатам было отмечено улучшение.

Поясню немного. Дело в том, что в первых версиях OSS самозащита была не такая сильная, как сейчас. Разработчики Agnitum докручивали этот функционал долго и упорно. Возможно, первый тест их от части промотивировал на это. Если что меня Виталий Янко поправит.

Не из-за этих ли добавленных тестов получилось так, что

Нет, это не так. Если сравните методологии 1-го и 2-го теста, то там добавилось ровно 5 методов в части защиты процессов (группа SendMessage API). КИС 8 просел по причине того, что получил минусы в File Permission Modification и Permission Modification of Registry Keys. В КИС 7 там было 1.5 балла (+ и +/-). Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Кстати, не совсем понятно, при чём тут task manager. Если сам пользователь хочет убрать процесс, то зачем ему мешать?

Ну и Kernel leve: если зловред прошёл на уровень ring0, то все эти ZwTerminateProcess/ZwTerminateThread- фигов листок. Я могу, например, убрать все нужные треды из системного шедулера- и всё, хана защите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Ну и Kernel leve: если зловред прошёл на уровень ring0...
Задача была бы нереализуемой в рамках модели.

:rolleyes:

Сравните по подробный отчетам Excel, там вся инфа есть (последние закладки "Подробные результаты").

Почему в отчёте все цифры проставлены руками?

Мне лень пересчитывать, но есть явные ляпы:

f.gif

post-4003-1232109898_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Исключение составили только Kaspersky Internet Security и F-Secure Internet Security, чья самозащита незначительно снизилась.

Поскольку Вы в данном тесте брали другой набор килл-утилит, не такой как в 2007 году, то сравнение я всёж считаю в приципе некорректно.

Доктор Веб поздравляю, релиз вышел с учётом существующих на момент выхода методов киляния.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

dr_dizel, спасибо, поправил ошибочку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.

Не понятно...Так кто ошибся?

Те кто производил тест или те "которые антивирус"?

Защита своих ключей реестра:

модификация/удаление значимых ключей реестра (вручную):

ключи автозапуска;

ключи сервисов;

ключи конфигурации.

А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

:lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Те кто производил тест или те "которые антивирус"?

Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Призываю Вас перейти в более конструктивное русло, то есть к более конкретному представлению, ирония, как мне кажется, здесь не очень уместна.

Если Вы знаете как и что выноситься, подробно опишите суть, не надо бросаться громкими провокационными фразами.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок ;)

P.S.

Призываю вас дать конкретный ответ...Ведь тестирование завершено и результаты получены ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А вот с этим вообще не согласен...Я вот знаю как выносятся ключи некоторого антивируса(про ключи автозапуска)...Как же вы тестировали?

Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Хочется услышать конкретный ответ без туманных формулировок wink.gif

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает? :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
ЭЭээ,кто ошибся?Конкретно...

Хочется услышать конкретный ответ без туманных формулировок

Вы о чем вообще? Откуда мне известно как работают в отделе QA в Лаборатории Касперского.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Рекомендую для начала прочитать результаты теста, хотя бы до половины. На лицо полное непонимание сути теста.

Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает? :lol:

Я бы не акцентировал внимание на данном факте. Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.
;)
Шаги проведения тестирования:

1.Установка антивирусной программы на чистую машину;

2.Перезагрузка системы;

3.Проверка успешной установки и работоспособности всех модулей программы;

На будущее-наверное 4 пункт должен быть обновление антивируса (или вам дают с самыми свежими модулями и базами?Насколько я знаю-не у всех антивирусов дистрибудтивы пересобираются раз в пол часа ).

Или обновление подразумевается? :blink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин
Был в ЛК один разработчик, уволили парня уже, имя его уже никто не помнит. Такой ответ устраивает?

Серьёзно?:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При установке антивирусов использовались рекомендуемые производителем настройки по умолчанию и производились все рекомендуемые программой действия (перезагрузка системы, обновление и т.д.). Все компоненты защиты активировались, если это не было предусмотрено после установки автоматически.

Методология

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Серьёзно?smile.gif

Конечно же нет. Какой вопрос, такой и ответ :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr.Belyash
Конечно же нет. Какой вопрос, такой и ответ :lol:

Какой тест-такой и вопрос....

Ждем тест на скорость запуска Paint :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Спасибо порталу за новый тест. Поздравляю победителя и призеров.

Самозащита в Kaspersky Internet Security очень сильна, а 2 минуса - это скорее факт ошибки процесса тестирования, немного не доглядели видимо.
Под тестированием подразумевалось внутреннее тестирование вендора - контроль качества, что тут непонятного?

Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sergey ulasen

Спасибо за тест!

Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Думаю, что факультативный Restore Hooks был бы полезен (как и в прошлом году).

А зачем? Что это покажет?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
А зачем? Что это покажет?

Видимо это покажет то, что они научились в отдельном потоке отслеживать свои перехваты и восстанавливать. Гипермозги!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Методология не охватывает абсолютно все способы нарушить работу антивирусного продукта. Задача была бы нереализуемой в рамках модели.

Очень интересный и познавательный тест.

А вендорам продуктов класса Security, получившим серебро и бронзу стоит задуматься о способах защиты своих "агентов безопасности".

Что толку от защиты, чья гвардия не стоит на ногах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Т.е. контроль качества в ЛК не доглядел и допустил ошибку. А Антималвара эту ошибку нашла.

Сергей Ильин и Александр Шабанов, я вас правильно понял? Спасибо.

Зачем переспрашивать одно и тоже по несколько раз? Тестирование, как часть процесса разработки, не может найти всех проблем, на это влияют сроки проекта, качество организации процессов тестирования, квалификация тест-дизайнеров и т.д., это нормальная ситуация. По результатам теста очевидно, что к ЛК это относится в меньшей степени чем к большинству других вендоров. Контроль качества не может допустить ошибку, он может ее найти и сделать так, чтобы ее исправили. Очень даже вероятно, что в отделах тестирования вендоров знают об этих проблемах, но разработка со своей стороны (или руководство) не посчитала нужным это поправить и поставила низкий приоритет.

Для тестов нашего портала функция контроля качества продуктов защиты носит второстепенный характер, акцент делается на сравнительные характеристики, то есть создание дополнительных критериев выбора и их количественная оценка.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Dilyaako
      Места для проведения девичников и мальчишников мы искали с помощью данного сайта  https://www.restoclub.ru/msk/search/restorany-dlja-devichnika-i-malchishnika-v-moskve . Мне понравилось, что тут правда есть очень много годных вариантов ресторанов уже сразу с фото и меню. Там же можно найти и всякие рестораны или кондитерские 
    • OliverInfum
      Сим-карта (SIM-карта, через англ. Subscriber Verification Module — модуль идентификации абонента) — идентификационный модуль абонента, применяемый в мобильной связи. сим карты оптом https://optom-sim.ru/ SIM-карты применяются в сетях GSM. Другие современные сотовые тенета обычно также применяют другие модули идентификации, обычно внешне схожие с SIM и выполняющие аналогичные функции — USIM в сетях UMTS, R-UIM в сетях CDMA и пр.В сетях 1G идентификацию абонента в тенета проводили сообразно заводскому номеру сотового телефона — ESN (Electronic Serial Integer). Таким образом, как сотовый телефон, беспричинно и абонент идентифицировались единым кодом. Такой подход порождал полную неволя номера абонента и пакета предоставляемых ему услуг через конкретного экземпляра телефона. Поменяв сотовый телефон (включая случаи поломки и кражи телефона), абонент был вынужден говорить в офис оператора ради того, чтобы телефон перепрограммировали и его серийный часть внесли в базу данных оператора, что некоторые операторы делали платно.
      Бесспорно, сколько более удобна идентификация абонента, независимая через телефона. В стандарте GSM было предложено разделить идентификацию абонента (с помощью SIM-карты) и оборудования (чтобы этого используется IMEI — международный идентификатор мобильного оборудования).Основная функция SIM-карты — хранение идентификационной информации об аккаунте, который позволяет абоненту легко и оживленно менять сотовые аппараты, не меняя около этом свой аккаунт, а простой переставив свою SIM-карту в подобный телефон. Чтобы этого SIM-карта включает в себя микропроцессор с ПО и данные с ключами идентификации карты (IMSI, Ki и т. д.), записываемые в карту для этапе её производства, используемые для этапе идентификации карты (и абонента) сетью GSM.
      Также SIM-карта может сберегать дополнительную информацию, например: телефонную книжку абонента списки ходящих/исходящих/пропущенных телефонных звонков текст входящих/исходящих SMS. В современных телефонах чаще всего эти данные не записываются для SIM-карту, а хранятся в памяти телефона, поскольку SIM-карта имеет довольно жёсткие ограничения на формат и объём хранимых для ней данных. Сим-карта содержит микросхему памяти, поддерживающую шифрование. Существуют карты различных стандартов, с различным размером памяти и разной функциональностью. Обедать карты, для которые около производстве устанавливаются дополнительные приложения (апплеты), такие будто сим-меню, клиенты телебанка, и т. д.
      Для самой карте телефонный часть абонента (MSISDN) в явном виде не хранится, он присваивается сетевым оборудованием оператора быть регистрации сим-карты в путы для основании её IMSI. Сообразно стандарту быть регистрации одной SIM-карты в путы оператор может присвоить ей маломальски телефонных номеров. Все эта возможность требует соответствующей поддержки инфраструктурой оператора (и соответствующих затрат с его стороны), поэтому чаще всего не применяется.
      Около утрате сим-карты абонент вынужден поставить в знаменитый оператора, утерянная карта блокируется, и абоненту выдаётся новая карта (платно или даром, в зависимости через условий оператора). Часть телефона, баланс и все подключённые услуги присутствие этом остаются неизменными, однако совершенно абонентские данные, хранившиеся для SIM-карте, не подлежат восстановлению. Сим-карта устанавливается в SIM-держатель сотового телефона, кто в современных сотовых телефонах обычно располагается почти аккумуляторной батареей. Положение сим-держателя около аккумулятором не позволяет устанавливать/извлекать сим-карту около включённом питании телефона, потому который это может привести к повреждению карты. Четыре формата сим-карт: полноразмерная сим-карта (1FF), mini-SIM (2FF), micro-SIM (3FF) и nano-SIM (4FF). Mini-SIM и micro-SIM обычно поставляются в виде выламываемых частей полноразмерной сим-карты Мини-сим-карта с возможностью лёгкого преобразования её в микро-сим-карту. ICC-код затем выламывания остаётся на микро-сим-карте.
      SIM-карты в ход нескольких десятилетий малопомалу уменьшались в размерах, впрочем сохраняли функциональность и совместимость вне зависимости через формата. Изначально карты выпускались в полноразмерном формате, кроме в виде mini-SIMs. С середины 2000-х внедряются карты форматов micro-SIM. С начала 2010-х — nano-SIM. Урывками, положим в устройствах M2M, функции SIM-карт реализуются встроенной в осуществление микросхемой.
    • Dilyaako
      Уже почти месяц не заказывал рассылку по почте. Так получилось, что раз заказал, но не пошло дело. Потом оказалось ,что не у тех заказывал. В итоге, выбрал других ребят. Ребят из https://dashamail.ru/ . А тут уже пошло поехало, очень понравилось их отношение и работа в целом.
    • Dilyaako
      ребята, а где вы сервера для форекс арендуете?
      я вот присмотрел vps для форекс через компанию СистемХост, думаю, там арендовать. вроде, ценник получается вполне нормальный, тем более, характеристики на нормальном уровне. что скажете по этому поводу?
    • 1kryptik
      Необходим был обмен криптовалюты на рубли, обменял быстро на Ripae, рекомендую всем классный обменный пункт!
×