Перейти к содержанию
Сергей Ильин

Тест самозащиты антивирусов I (результаты)

Recommended Posts

Сергей Ильин

Уважаемые коллеги!

Предлагаю вашему вниманию результаты нашего нового теста антивирусов.

На этот раз мы тестировали их самозащиту от активных действий со стороны вредоносных программ.

Результаты тестирования (05/08/2007)

Gold Self-Protection Award

self-protection_gold_sm.gif

Kaspersky Internet Security 7.0 (97%)

Silver Self-Protection Award

self-protection_silver_sm.gif

VBA32 Antivirus 3.11 (71%)

Symantec Internet Security 2007 (71%)

F-Secure Internet Security 2007 (61%)

Bronze Self-Protection Award

self-protection_bronze_sm.gif

ZoneAlarm Internet Security 7.0 (58%)

Panda Internet Security 2007 (48%)

McAfee Internet Security 2007 (47%)

Eset Smart Security 3.0 Beta (44%)

Trend Micro PC-Cillin 2007 (42%)

Тест провален

Avast! Professional Edition 4.7 (33%)

Avira Premium Security Suite 7.0 (33%)

Sophos Anti-Virus 6.5 (33%)

DrWeb 4.44 (32%)

Microsoft Windows Live OneCare 1.6 (32%)

BitDefender Internet Security 10 (30%)

Награду Platinum Self-Protection Award

self-protection_platinum_sm.gif

в этот раз не получил никто (Касперскому не хватило 1%).

Подробные результаты можно посмотреть тут

http://www.anti-malware.ru/index.phtml?par...=selfprotection

Методология тестирования и условия награждения доступны тут

http://www.anti-malware.ru/index.phtml?par...ion_methodology

http://www.anti-malware.ru/index.phtml?par...otection_awards

P.S. Огромная благодарность всем, кто помогал мне в подготовке и проведении данного теста, без вас бы ничего не получилось! :thanks:

Ну и, конечно, хочется получить комменты комьюнити по результатам теста :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Demorphis

Интересно (а мне интереснее) было бы увидеть результаты под Vista 32 и 64. Возможно технически в данный момент?

Что точно, у KIS 7.0.0.125 на Vista 32bit процесс как USER-ский так и SYSTEM-ный будут "автоматически восстановился", и права на ключи реестра тоже можно менять. :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm

А как же недавний тест HIPS'ов? Там вроде хуки КАВа были сняты малварой.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets

Я бы отметил, что Eset Smart Security - это бета. По двум причинам: во-первых, раз он бета, то что-то могут и подправить. А во-вторых, раз он бета, то у релизной версии результат может отличаться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SuperBrat

ZoneAlarm Internet Security 7.0 (58%). Так правильнее будет?

Добавлено спустя 1 минуту 7 секунд:

Награда Platinum Self-Protection Award присваивается, если самозащита антивируса предотвратила свыше 98% атак.

Награда Gold Self-Protection Award присваивается, если самозащита антивируса предотвратила свыше 98% атак.

???

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Интересно (а мне интереснее) было бы увидеть результаты под Vista 32 и 64. Возможно технически в данный момент?

Да, действительно интересно будет посмотреть тоже самое под Vista, но это вопрос уже будущего теста.

Я бы отметил, что Eset Smart Security - это бета. По двум причинам: во-первых, раз он бета, то что-то могут и подправить. А во-вторых, раз он бета, то у релизной версии результат может отличаться.

Согласен, исправлю, это важно.

ZoneAlarm Internet Security 7.0 (58%). Так правильнее будет?

Да, именно так. Жаль, ZoneAlarm мог взять гораздо больше, так как часто убивался у него только один антиспам, но по правилам это, увы, уже +/-.

Добавлено спустя 2 минуты 28 секунд:

SuperBrat, спасибо, не заметил очепятку из-за копипаста :(

Добавлено спустя 8 минут 42 секунды:

А как же недавний тест HIPS'ов? Там вроде хуки КАВа были сняты малварой.

Они снимаются в всех, у кого это возможно, в тесте это показано. Но этот критерий не учитывался при подсчете баллов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Пит

Плачевные результаты у Битдефа. Вроде антивирь не плох. Неужели всё так безнадёжно? :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Плачевные результаты у Битдефа. Вроде антивирь не плох. Неужели всё так безнадёжно? Sad

Убивается на раз просто почти любым методом - абсолютно беспомощный против активных действий со стороны malware.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit

Ребята хакеры даже видео про это сняли "жестокое изнасилование Битдефендера с помощью батника". И такие же про DrWeb и прочие. Кажется, уже обсуждалось.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Меня лично удивил такой серьезный разрыв в результатах между первой тройкой (Kaspersky Internet Security 7.0 (97%), VBA32 Antivirus 3.11 (71%) и Symantec Internet Security 2007 (71%)) и всеми остальными.

Что касается Kaspersky Internet Security, то ЛК неоднократно заявляли о том, что 6-ка серьезно подготовлена в плане самозащиты, результаты теста это подтвердили. Продукт защищен лучше всех.

Хотел обратить внимание на некоторые интересные вещи, обнаруженные в ходе теста:

1. В некоторых продуктах (например, Eset Smart Security и McAfee Internet Security) критические процессы часто убивались, но тут же восстанавливались. Т.е. антивирус продолжал работать, но все же убить процессы можно. В таких случаях я считал, что атака на эти процессы не возымела действие, хотя, строго говоря, процессы все же убивались.

2. Специфика продуктов класса Internet Security состоит в том, что многие модули плохо защищены, особенно если вендор особо не парился с интеграцией купленных на стороне технологий и прикручивал новый и новый функционал "как есть". От такого подхода серьезно пострадали результаты таких грандов, как, например, ZoneAlarm, Symantec, McAfee.

3. Никто кроме Касперского, Symantec и ZoneAlarm не защищает свои записи в реестре. Malware просто затирает верки реестра, перегружает комп. Антивирус естественно не стартонет, далее можно спокойно убрать все его следы пребывания в системе. :-)

4. Права доступа к своим файлам контролируют только Касперского, Symantec и Panda, последняя меня тут удивила. Результат тот же, после изменения прав доступа к папке (где лежат файлы антивируса) и перезагрузки антивирус не запустится.

5. Большинство антивирусов успешно убивается на уровне ядра, почти верняк получается.

6. Плохи дела с защитой от модификации процесса/кода, валятся многие.

P.S. AVG был исключен и теста по причине ложных срабатываний на упакованные объекты (одну из используемых в тесте утилит).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit

Хорошее подспорье для начинающих разработчиков вирусов :wink: По алгоритму: вырубил антивир из автозагрузки, перезагрузил комп, расшифровал свой основной вредный код и "делай с ним что хош".

А если серьезно - спасибо за вашу работу! Данную инфу - да вендорам в руки бы, и копию желательно в те службы, которые определяют зарплату разработчикам...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
1. В некоторых продуктах (например, Eset Smart Security и McAfee Internet Security) критические процессы часто убивались, но тут же восстанавливались. Т.е. антивирус продолжал работать, но все же убить процессы можно. В таких случаях я считал, что атака на эти процессы не возымела действие, хотя, строго говоря, процессы все же убивались.

Вот не знаю, насколько это правильно. Потому что если я убиваю сервис, то он-то умирает и потом тут же восстанавливается. Но вот если я его перед этим выставлю в disabled, то восстановиться он уже не сумеет. Поэтому всё же важно, чтобы продукт либо препятствовал убийству, либо препятствовал установке сервиса в disabled. Допустим, Eset ни того ни другого не делает. Что не есть гуд.

2. Специфика продуктов класса Internet Security состоит в том, что многие модули плохо защищены, особенно если вендор особо не парился с интеграцией купленных на стороне технологий и прикручивал новый и новый функционал "как есть". От такого подхода серьезно пострадали результаты таких грандов, как, например, ZoneAlarm, Symantec, McAfee.

Да, это тоже проблема... Если умер анти-спам, считать ли это таким уж проигрышем? Т.е. конечно проигрыш в какой-то мере, но нельзя сравнивать это со смертью фаерволла или on-access-сканера...

Ну в общем, как обычно, самое сложное в тесте - это расставить баллы =) Хотя с другой стороны, в целом расстановка сил ясна, а для правильной оценки результатов в любом случае нужно внимательно читать приложенный Excel. Так что всё ОК =)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mais
3. Никто кроме Касперского, Symantec и ZoneAlarm не защищает свои записи в реестре. Malware просто затирает верки реестра, перегружает комп. Антивирус естественно не стартонет, далее можно спокойно убрать все его следы пребывания в системе. :-)

нуну :)

а вы попробуйте какнибудь на досуге

батник вот такого вида

sc config avp start= disabledREG DELETE HKLMSOFTWAREMicrosoftWindowsCurrentVersionRun   /v AVP /fshutdown -r -f -t 00

удаляет ключ автозапуска, запрещает запуск службы и перезагружает компьютер - КИС так и остается не загруженным.

самозащита программы НИКАК не распространяется на

HKEY_LOCAL_MACHINESOFTWAREMicrosoftWindowsCurr entVersionRun

а в настройках по умолчанию мониторинг реестра выключен...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
нуну :)

а вы попробуйте какнибудь на досуге

батник вот такого вида

sc config avp start= disabledREG DELETE HKLMSOFTWAREMicrosoftWindowsCurrentVersionRun   /v AVP /fshutdown -r -f -t 00

удаляет ключ автозапуска, запрещает запуск службы и перезагружает компьютер - КИС так и остается не загруженным.

самозащита программы НИКАК не распространяется на

HKEY_LOCAL_MACHINESOFTWAREMicrosoftWindowsCurr entVersionRun

Это вы так шутите? =) Первая строчка (там где вы сервис ставите в disabled) вылетает сразу с Access denied. Сервис остаётся нетронутым.

Вторая строчка действительно удаляет строчку КАВ из автозапуска. Но вы попробуйте после этого перегрузить комп. Будете очень удивлены...=)

P.S. Это всё конечно на XP. На Висте пока проблемы у всех, в том числе и у ЛК. Но с другой стороны, на Висте для этого фокуса потребуется подтверждение админа (UAC).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Да, это тоже проблема... Если умер анти-спам, считать ли это таким уж проигрышем? Т.е. конечно проигрыш в какой-то мере, но нельзя сравнивать это со смертью фаерволла или on-access-сканера...

Тут приходится действовать жестко, потому как формально процесс убит, а тестировались интегрированные продукты, т.е. защита всех компонент защиты важна. Если подходить избирательно, то мы захлебнемся к потоке критики обиженных :-)

Хотя с другой стороны, в целом расстановка сил ясна

Именно, кординальных изменений бы не произошло.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike
Тест провален

Avira Premium Security Suite 7.0 (33%)

DrWeb 4.44 (32%)

подобный тест с 4 антивирусами я как раз на днях тоже проводил.

результаты выложены в соответствующей ветке форума.

у меня DrWeb умер сразу. :!:

Антивир выжил, выловил на компе 80–90 зараженных файлов,

но не смог убить ни одного из 5 активных зловредов. :)

кстати NOD тоже оказался беззубым и неспособным к убийству. :):)

а Касперский не только выжил, но и поубивал всех кого поймать смог :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Но с другой стороны, на Висте для этого фокуса потребуется подтверждение админа (UAC).

... который большинство нормальных пользователей отключают сразу после установки Висты из-за его навязчивости ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
Но с другой стороны, на Висте для этого фокуса потребуется подтверждение админа (UAC).

... который большинство нормальных пользователей отключают сразу после установки Висты из-за его навязчивости ;)

Ничего подобного. Большинство простых пользователей его не отключают по двум причинам. Во-первых, они не знают как. Во-вторых, он им не мешает, так как они не лазят по настройкам и не ставят по 50 новых софтин в час, а в остальных случаях нажать ещё одну кнопку при установке софта - не проблема, всё равно много раз на Next нужно тыкать.

Но я конечно согласен, что антивирусны продукты по мере возможности не должны полагаться на ОС для своей защиты. Поэтому все ждут с нетерпением Висту СП1. А пока делают всё, что можно. Если хотят, конечно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Но я конечно согласен, что антивирусны продукты по мере возможности не должны полагаться на ОС для своей защиты.

Большинство пользователей в диалогах UAC будут всегда нажимать "Разрешить", а в случаях социальной инженерии, под видом видео с обнаженной Шакиры запустят все что угодно. :-)

Кроме того, все вопросы со стороны ОС не внушают такой опасности, как если бы тоже самое писал антивирус. К последним доверия больше, если уж антивирус написал "опасно", то точно опасно, а Vista ... да откуда она тупая знает, что я делаю, мне только видео посмотреть.

Вот тут как раз самозащита антивируса и выходит на первый план.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Пит

Что Вы сцепились за этот UAC. Опять про каких-то непонятных домохозяек речь... И зачем если на то пошло им отключать UAC, им проще тогда и антивирус отключить, чтоб не доставал своими балунами. Ведь их UAC уже достал.

Большинство пользователей в диалогах UAC будут всегда нажимать "Разрешить", а в случаях социальной инженерии, под видом видео с обнаженной Шакиры запустят все что угодно.

+1 :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Что Вы сцепились за этот UAC.

Ничего не вцепились. Просто не панацея он. Я бы сказал, даже наоборот, медвежья услуга :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Просто не панацея он. Я бы сказал, даже наоборот, медвежья услуга Smile

Согласен, не стоит расчитывать на его помощь.

Валерий, почему Доктор Веб принебрегает самозащитой в своих продуктах? Результаты теста DrWeb не впечатляют сейчас, может быть стоит ожидать каких-то изменений в 5-ке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

а можно попросить программы с помсощью которых проводились тесты?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
а можно попросить программы с помсощью которых проводились тесты?

К сожалению, нет. Можем предоставиться только вендорам по запросу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
    • demkd
      Если пишет что файлов нет то так оно и есть, по пути в принципе видно, что их там точно быть не может.
      Проблема же в том что при запуске под SYSTEM, API windows не способен правильно разбирать некоторые ярлыки, где не указан абсолютный путь, такие ярлыки меняют цель в зависимости от того под каким пользователем работает конкретный процесс, зачем это сделал microsoft для меня загадка.
      Единственное решение - это написать api для разбора любых ярлыков с нуля и добавить еще нехилую надстройку для анализа относительных путей в них, но это довольно сложная задача и на данный момент реализована лишь в малой части и скорее всего никогда не будет реализована на 100%.
      Потому если хочется удалить ссылки на отсутствующие объекты имеющие ярлыки то нужно запускаться под текущим пользователем, проблем будет меньше... если пользователь один Все системные файлы имеют внешнюю эцп и вполне определенные имена.
×