Перейти к содержанию
Николай Головко

Тестирование VirusInfo: первый квартал 2008

Recommended Posts

Николай Головко

Уважаемые коллеги,

по результатам трех месяцев нами подготовлен квартальный график:

1_quarter_sum_08.PNG

Описательная статья и мартовские результаты находятся по прежнему адресу:

http://virusinfo.info/index.php?page=tests

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron

Икарус здесь лучше всех (по детекту), а VB100% проиграл.

Но я знаю, как он вирусы добавляет:

87H2IJSU3B.png rWvk9sNvdg.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Николай, забавно другое, неустойчивость некая метода.

вот тут http://www.antivirus.ru/AntiVirPS803.html ребята оценивают антивирусы по схеме до боли похожей на вашу, даже число зловредов за квартал набралось примерно такое же

в принципе лидеры те же (исключая их перекос на Доктор Веб), но расстановка сил немного другая.

у вас первая десятка, если мне не изменяет косоглазие: вебвошер, авира, икарус, ф-секьюр, софос, касперский, AVG, панда, битдефендер, eSafe

у них: доктор, вебвошер, авира, касперский, ф-скьюр, икарус, софос, битдефендер, AVG, панда

я специально посчитал за квартал и отсортировал по алфавиту, чтобы было на графике как у вас. Может сложить ваши и их результаты для повышения устойчивости и поглядеть, что в сумме получается? :rolleyes:

antivirusru.PNG

post-10-1207310503_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.
1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением.

2) Образец должен быть обнаружен лично консультантом в ситуации реального лечения.

Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Я бы не сказал, что методика указанного вами тестирования "до боли" похожа на нашу, скорее наоборот. Цитируемый вами ресурс отбирает образцы вредоносного ПО по другому принципу и тестирует антивирусы не от уровня детектирования, а от уровня не-детектирования.

а какая разница от уровня недектирования или от уровня детектирования идти? это простите сути теста не меняет совершенно, только представление результатов другое - поэтому я их результаты в ваш вид представления и перевел.

и ребята как и вы смотрят зловреды найденные у пользователей на реально зараженных тачках, где стоящий там антивирь ничего не находит.

единственное их отличие, впрочем весьма важное, что вы то зловреда вроде как AVZ находите, а эти товарищи

В течение года мы проводили отработку собственной методики тестирования антивирусов. Согласно этой методики производится отбор инфицированных объектов, с которыми мы реально столкнулись. Затем производится проверка реакции различных антивирусов на выявленные объекты. При этом очень важно, чтобы отбор подозрительных объектов производился несколькими антивирусами одновременно. Если отбор выполнять одним антивирусом, то проверка будет выполняться только на тех иннфицированных объектах, которые будут известны этому антивирусы. И у этого антивируса будет 100% при любом его качестве, другие антивирусы будут иметь возможность только повторить его результат, а превзойти - никогда. Для выявления подозрительных объектов мы используем лицензионные копии антивирусов:

Avira AntiVir PersonalEdition Premium Avira Avira GmbH Германия

Dr.Web для Windows DrWeb Компания «Доктор Веб» Россия

Антивирус Касперского KAV Лаборатория Касперского Россия

отсюда и их перекос

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко
Т.е. это от уровня детектирования? %)

Можно немножко конкретнее про то, как это от уровня детектировани и не-детектирования?

а какая разница от уровня недектирования или от уровня детектирования идти?

Я исхожу из представления, что определение продукта, пропустившего наименьшее количество образцов вредоносного программного обеспечения, и определение продукта, обнаружившего наибольшее количество образцов malware, не представляют собой одно и то же с точки зрения направленности тестов, хотя вы верно заметили, что существует определенное подобие сущности проведенных тестов.

Тем не менее, я по-прежнему не вижу заявленного подтверждения тому, что отбираемые цитируемым ресурсом образцы действительно не определяются установленным на целевой машине защитным ПО. В приведенном вами описании также не говорится об этом, а, значит, однозначный знак равенства между методиками ставить пока рано.

За комментарии, однако, спасибо, я принял их во внимание.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Werasy

Тогда ещё один.Возможно,есть небольшой недостаток,искажающий результат.Если на 9 из 10 компов,с которых взято недетектируемый зловред,установлен,к примеру,Др.Касмантек,а реально,допустим,он на 3 из 10,то условие "1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением." без наличия поправки срабатывает против АВ (детект = 0),так как при проверке все остальные,кроме этого АВ,имеют шанс его задетектировать детект > 0.Если же установленные АВ на компах,с которых взяты вирусы,более-менее соответствуют реальному соотношению,то вполне можно оценить уровень защищённости уже с учётом фактора,что на распространённый АВ больше и вирусов больше затачивают.Статистику вели о соответствии вашего круга компов с реальным?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n

Смотрим/обсуждаем результаты тестирования на VirusInfo: Апрельский график исследования антивирусов VirusInfo

april.PNG

Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

post-4227-1210939002_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Antal
Как-то уж продукт от Kaspersky совсем задвинули по сигнатурному детекту))

И у НОД 32 дела идут смотрю не лучшим образом !!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
И у НОД 32 дела идут смотрю не лучшим образом !!!

и у доктор веба с симантеком все как нехорошо...нынче свосем другие лидеры :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Я вообще внятно что-то по этому тесту никогда не мог сказать. Николай Головко в свое время меня грамотно заткнул. Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Вот до сих пор не придумал, почему считаю этот тест и не тестом совсем.

Попробую помочь придумать ответ:

Тестирование антивирусов VirusInfo проводится с использованием бесплатного онлайн-мультисканера VirusTotal

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Не думаю, что это жуть какой недостаток. Движки тех АВ прекрасно работают сигнатурно и эмуляторами. Поведенческих блокираторов, конечно, нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Не думаю, что это жуть какой недостаток

Так-то оно так, но после такого "теста" и появляются вопросы аналогичные вопросу С. Ильина:

существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому

и меня рейтинг Касперского удивил, хотя я скорее противник пользования его продуктов, чем сторонник.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
rubin-VInfo

Ну касательно Касперского в некой степени можно объяснить... по большей частью у хелперов стоят именно КИС\КАВ, и если антивирус уже ругнется на полученный файл, то скорее всего он на ВирусТотал и не уйдет, т.к. практическая цель достигнута - мы установили вредоносность файла.

Если же файл подозрителен и не сдетектился... то уже идет на ВирусТотал. Именно поэтому в 99% лично моих сканов Касперский не детектит угрозу... может и у других хелперов так же ;)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron
Может ли кто-то внятно объяснить существенное превосходство F-Secure над Касперским как по сигнатурному детекту, так и по эвристическому?

Движок один и тот же. Скорее всего, на вирустотале их по-разному настроили.

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Тогда ... было бы интересно посмотреть, какое количство семплов было прислано при пропуске каждого антивируса.

Жаль эти данные не собираются.

А потом, как нибудь интегрировать результаты - хотя это уже для любителей всякого рода аналитики.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mike

в защиту касперского:

например этот дроппер на вирустотале касперский не видит:

Datei crack.exe empfangen 2008.05.23 06:43:03 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Dropper.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 -

BitDefender 7.2 2008.05.23 -

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 suspicious Trojan/Worm

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Virus.IM.Worm.Win32.VB.hi

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 -

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 Suspicious file

Prevx1 V2 2008.05.23 Malicious Software

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 -

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Dropper.Gen

а заодно не видит и Rustock, который он грузит:

Datei sywtdxaz.sys empfangen 2008.05.23 06:45:09 (CET)

AhnLab-V3 2008.5.22.1 2008.05.23 -

AntiVir 7.8.0.19 2008.05.22 TR/Rootkit.Gen

Authentium 5.1.0.4 2008.05.22 -

Avast 4.8.1195.0 2008.05.22 -

AVG 7.5.0.516 2008.05.22 Downloader.Scagent.P

BitDefender 7.2 2008.05.23 Backdoor.Rustock.NDI

CAT-QuickHeal 9.50 2008.05.22 -

ClamAV 0.92.1 2008.05.23 -

DrWeb 4.44.0.09170 2008.05.23 -

eSafe 7.0.15.0 2008.05.22 -

eTrust-Vet 31.4.5814 2008.05.22 -

Ewido 4.0 2008.05.22 -

F-Prot 4.4.2.54 2008.05.16 -

F-Secure 6.70.13260.0 2008.05.23 -

Fortinet 3.14.0.0 2008.05.23 -

GData 2.0.7306.1023 2008.05.23 -

Ikarus T3.1.1.26.0 2008.05.23 Backdoor.Rustock.NDI

Kaspersky 7.0.0.125 2008.05.23 -

McAfee 5301 2008.05.22 -

Microsoft 1.3520 2008.05.23 Backdoor:Win32/Rustock.gen!B

NOD32v2 3124 2008.05.23 -

Norman 5.80.02 2008.05.22 -

Panda 9.0.0.4 2008.05.22 -

Prevx1 V2 2008.05.23 Malware Downloader

Rising 20.45.32.00 2008.05.22 -

Sophos 4.29.0 2008.05.23 Mal/Generic-A

Sunbelt 3.0.1123.1 2008.05.17 -

Symantec 10 2008.05.23 -

TheHacker 6.2.92.318 2008.05.23 -

VBA32 3.12.6.6 2008.05.22 -

VirusBuster 4.3.26:9 2008.05.22 -

Webwasher-Gateway 6.6.2 2008.05.23 Trojan.Rootkit.Gen

в действительности, на машине с касперском, дроппер будет заблокирован.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
radioelectron

Вирустотал необъективный, мне кажется. Для тестов надо брать виртуальную машину и самому всё проверять. Пусть это будет дольше, но качественнее. Данные вирустотала закрытые - я не знаю, какие там конкретно настройки у каждого антивируса, как они там обновляются. А даже если бы они вывесили эти настройки — с какой стати мне им верить?

Только на сигнатурный детект я бы не стал надеяться. У антивирусов сейчас куча других технологий. Каспер может спокойно заблокировать червя, которого нет в сигнатурах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

АМ не использует VT в тестах. :) А данный "тест" VInfo чисто ознакомительный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001

Дополнение к сказанному вами выше: не стоит забывать, что некоторые malware с троянской сущностью детектятся антивирусами только в активной системе, в которой они развили свою "деятельность" и создали свою "криминальную" сеть. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
По-разному? Как я понимаю, настройки для всех Продуктов сделаны максимальные.

нет.

на ВТ каждый вендор сам решает какие именно настройки его продукта должны быть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.15.6
      ---------------------------------------------------------
       o Исправлена ошибка из-за которой автоматически не замораживались потоки внедренные в uVS,
         если их код НЕ принадлежал одной из загруженных DLL.

       o Добавлена поддержка английского интерфейса при запуске под Win2k.

       
    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
×