Перейти к содержанию
Иван

Новый тест Av-Test.org

Recommended Posts

Иван

Андреас Маркс (Av-Test.org) опубликовал результаты своего последнего теста на качество детектирования вредоносных программ (detection rate). Краткие результаты теста представлены ниже:

- the top scorer was Avira's Antivir, with 99% detection overall

- F-Secure, Symantec, and Kaspersky all came close with 98% detection.

-Avast!, AVG, and BitDefender weren't far behind at 96%

-Panda got 92%, Trend Micro got 91%

-NOD32 88% and McAfee 87%

От себя добавлю Доктор Веб - 85,84%

-Microsoft's OneCare didn't come in dead last, as it did in an earlier test, but it only detected 81% of the threats.

-VirusBuster, sold both as a standalone product and as the licensed antivirus in Agnitum's new security suite, only detected 73%

-Computer Associates eTrust-VET antivirus detected just 62%.

http://www.appscout.com/2007/05/antivirus_...in_magdebur.php

Более подробно результаты здесь: http://www.pcwelt.de/news/sicherheit/81346/index2.html

http://www.pcmag.com/article2/0,1895,2135092,00.asp

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

охренеть ... Клементи родил новый тест. Поскольку коллекция по-прежнему закрыта - воспроизводимость результатов - 0. Веселуха....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

alexgr

вы бы хоть разобрались сначала с источником. ПРичем тут Клименти?

AV-Test.org - никакого отношения к Клименти не имеет http://www.av-test.org/index.php?menue=3〈=0

Менеджер этого проекта Andreas Marx.

Добавлено спустя 3 минуты 7 секунд:

я же говорю, у вас все тесты плохие

и AV-comparatives.org (Клименти) плохой

и AV-Test.org (Маркс) - плохой

и Virus.gr (Петракис) тоже плохой

и Anti-MAlware.ru (Ильин) - самый плохой

Все очень плохие, ужасные тесты.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

нет, есть принцип воспроизводимости. Воспроизведете?

Добавлено спустя 58 секунд:

и покажите сходимость результатов - математика, сэр, есть наука. Иронию уловил - но прошу ответить на вопросик

Добавлено спустя 4 минуты 3 секунды:

сия наука - повторюсь - не зависит от фамилии Петракиса, Маркса итд. Есть необходимсоть повторения теста - и он повторяется до выполнения требования наполнения факторного пространства. Выявляется сходимость результатов и тд. Забавно, но оба Андреаса - сорри - ошибся - грешат в одной зоне :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ordon
Все очень плохие, ужасные тесты.

Вы же знаете, всегда будут довольные и недовольные результатами тестов и их интерпретацией(как проводился тест, сколько чего было и т.д.). Немаловажно так же и субъективное отношение...

Кстати этот WebWasher действительно такой крутой?)

Зашёл на их сайт и обнаружил забавный прикол от google:

http://www.securecomputing.com/index.cfm?skey=1520

A теперь посмотрите эту страницу в переведённом варианте, зайдя в Продукты > Webwasher Antivirus ...

:lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

alexgr

Скажите, а какие факторы в данном случае влияют на результат эксперимента?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

вебвошер это чисто гейтвейный продукт (почта+веб), причем мультидвижковый.

Какие внутри движки пока не разобрался

Добавлено спустя 9 минут 44 секунды:

да кстати у меня вопрос, а Игорь Данилов или кто-то еще из Доктора Веба когда-либо просил у Маркса или Клименти их коллекции. И был ли официальный отказ прислать самплы?

Просто если не просил, то неполнятно почему вы говорите о непрозрачности. Если просили и не дали, то интересна формулировка отказа.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ezh

http://www.pcmag.com/article2/0,1895,2135053,00.asp

The goal was to test detection capabilities only, not cleaning. Products were set with their most aggressive detection options, such as using all heuristics and testing inside archives.

Кто что скажет? Какие-то непонятные результаты. Что есть вебвашер?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

товарищи модераторы, такая тема уже есть, надо бы совместить

http://www.antimalware.ru/phpbb/viewtopic.php?t=3140

Добавлено спустя 21 минуту 59 секунд:

что касается вебвошера, то как я уже писал это гейтвейный продукт причем мультидвижковый. собственно это подтверждается и в статье The best product, WebWasher, detected 99.83 percent, but this is a gateway product.

Ничего удивительного в таком высоком детекте нет, т.к. на уровне шлюза можно вешать и много движков и применять специальные потоковые эвристики.

Непонятно с какого перепугу Маркс решил его тестировать вместе с обычными десктопными продуктами, это все равно что добавить в тест вместе с десктопным продуктом касперского еще и их сервис Kaspersky Hosted Security, который засчет связки движок касперского + Pre-scan Anti-Virus + BitHunt возьмет тоже почти 100%. Но это впрочем дело Маркса, WebWasher на десктоп не поставишь, а сравнение продутов для почты и шлюзов это уже совсем другая история.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
alexgr

Скажите, а какие факторы в данном случае влияют на результат эксперимента?

это прежде всего тестовый набор. Сколько в нем каких вредоносов и в каком виде.

второе - это неполнота теста на детект, посколькуфункциональность большинства антивирусов еще в восстановлекнии работоспособного состояния. Назовем это активным заражаением.

третье - это условия теста - сканим зону с вирями, шлем ли их по сети или еще как.

есть еще несколько соображений, но это уже мельче.

ПО первому пункту владельцы мощных коллекций обычно отмалчиваются. Я разговаривал с Клементи - имел такое счастье и мы вместе пришли к выводу, что тест не полон и не ВОСПРОИЗВОДИМ. Из-за закрытости коллекции.

Но в будущем второй недостаток будет исправлен. Реперной точкой был определен следующий год.

2Иван

да кстати у меня вопрос, а Игорь Данилов или кто-то еще из Доктора Веба когда-либо просил у Маркса или Клименти их коллекции. И был ли официальный отказ прислать самплы?

Просто если не просил, то неполнятно почему вы говорите о непрозрачности. Если просили и не дали, то интересна формулировка отказа.

они просто над этим вопросом незадумывались - зачем это может быть кому-нибудь нужно. Когда разобрались - оказалось, что надо работать "плотнее с вендорами"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
нет, есть принцип воспроизводимости. Воспроизведете?

Уверен, Андреас поделится своей коллекцией с вендором, если его об этом попросить и правильно мотивировать ;-)

От теста не детекшен некорректно тербовать воспроизводимости, кто-же выкладывает на сайт коллекцию вирья не на один гигабайт ... уголовную ответственность за это еще никто не отменял.

да кстати у меня вопрос, а Игорь Данилов или кто-то еще из Доктора Веба когда-либо просил у Маркса или Клименти их коллекции. И был ли официальный отказ прислать самплы?

Вот я как раз про это. Ни разу не слышал, чтобы Андреас кого-то послал, это не в его характере, он настроен на сотрудничество со всеми вендорами и независимымми тестерами.

Добавлено спустя 7 минут 17 секунд:

Хороший показатель Avira был ожидаем, они активно работали в сторону улучшения качества детектирования последний год-два и добились своего. Какими методами - это другой вопрос, Dr. Golova где-то об этом писал в другой ветке.

Сюприз для меня лично - посредственные результаты McAfee и Доктора. Microsoft уже почти сравнялся с ними по уровню детекту, если верить этому тесту.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st

Эм вообще непонятно как Symantec,Avira и странный G.. AVK по детекту обошли Касперского..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

А чего тут непонятного:

Avira - они по всем тестам сейчас обходят всех, загляни на AV-Comparatives.org, там будет тоже самое. За счет чего они так поднялись последнее время я не знаю. Читал на форумах, что во-первых они паразитируют на сигнатурах конкурентов, во-вторых все пакеры левые по умолчанию считают вирьем. Но повторю, я об этом читал, доказательств не имею.

G.. AVK - с этим все понятно. У него внутри два чужих движка: Kaspersky+Avast. В итоге к касперскому добаляется еще чуть-чуть аваста и получается такой детект. Но проверяя двумя движками это поделье торомозит. Хотя да детект чуток выше. Тоже кстати касается F-secure собственно

Symantec - ну эти лучше весьма условно:

во-первых, они лучше примерно на одну десятую да и то только по усредненным результатам, а взгляни сюда http://www.pcwelt.de/news/sicherheit/81346/index2.html

По троянам: Kaspersky - 97,80%, Symantec - 97,76%

ПО бекдорам: Kaspersky - 97,21%, Symantec - 96,74%

во-вторых, это ведь результаты на устаканившейся коллекции с давно известным вирьем, да на ней симантек неплох. Но на появление нового вирья они реакгируют кошмарно долго,по результатам того же AV-Test.org Kaspersky реагирует в среднем в диапазоне 0-2 часа, Symantec в диапазоне 10-12 часов.

Так шо насчет Симантек обошел - это весьма условно

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
это прежде всего тестовый набор. Сколько в нем каких вредоносов и в каком виде.

второе - это неполнота теста на детект, посколькуфункциональность большинства антивирусов еще в восстановлекнии работоспособного состояния. Назовем это активным заражаением.

третье - это условия теста - сканим зону с вирями, шлем ли их по сети или еще как.

есть еще несколько соображений, но это уже мельче.

ПО первому пункту владельцы мощных коллекций обычно отмалчиваются. Я разговаривал с Клементи - имел такое счастье и мы вместе пришли к выводу, что тест не полон и не ВОСПРОИЗВОДИМ. Из-за закрытости коллекции.

Но в будущем второй недостаток будет исправлен. Реперной точкой был определен следующий год.

Дело в том, что в большинстве тестов описывается в каком виде были вирусы (в архивах или каталоге, пакаваны/распакованы), сколько вредоносов -тоже пишут (и по группам - трояны, черви и т.д), обычно под тестом на детект понимают именно сканирование антивирусом не активных вирусов - просто файлов (восстановление работоспособности после лечения - это другое, таких тестов кроме нас вроде бы никто и не проводил).

По поводу закрытости коллекции - это да и именно поэтому многие тесты не воспроизводимы. Но ведь если отдать эту коллекцию вендорам - то больше и тесты проводить не получиться - придется заново ее собирать. Поэтому в данном случае можно лишь либо верить результатам либо нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitry Perets
во-вторых, это ведь результаты на устаканившейся коллекции с давно известным вирьем, да на ней симантек неплох. Но на появление нового вирья они реакгируют кошмарно долго,по результатам того же AV-Test.org Kaspersky реагирует в среднем в диапазоне 0-2 часа, Symantec в диапазоне 10-12 часов.

Угу, меня тоже результат Symantec не удивляет. Они традиционно показывают хороший процент детекта в таких тестах. Думаю, не последнюю роль в этом играет обмен сэмплов между лабораториями. Symantec большая, с ней многие дружить хотят, вот и делятся =) Спустя некоторое время, разумеется.

А вот скорость добавления в базы - это уже совсем другой разговор. К сожалению, тесты детекта этот параметр не отражают. Я бы добавил его в список критериев alexgr. Высокий процент детекта - это ещё не всё...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ezhikkk

Dmitry Perets

Согласен с Вами.Но всё же нужно отдать должное Symantec, они хотя бы в плане детекта утёрли нос Касперу.

Странно,что результаты разных тестов так отличаются...низкие показатели NOD 32 и Dr. Web... и достаточно высокие показатели,по сравнению с другими тестами,таких продуктов как Panda, Avast и AVG...

Мне кажется это подозрительным :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Странно,что результаты разных тестов так отличаются...низкие показатели NOD 32 и Dr. Web... и достаточно высокие показатели,по сравнению с другими тестами,таких продуктов как Panda, Avast и AVG...

Если уж говорить прямо, то Nod32 никогда и не славился хорошим детектом, это их реальный показатель IMHO. Тоже самое Доктор Веб - немного просели по этому показателю за последний год-полтора, раньше было лучше.

Что касается Panda Software, Avast и AVG, то тут есть сомнения, очень уж высокий у них показатель и его нечем реально обосновать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ego1st
Что касается Panda Software, Avast и AVG, то тут есть сомнения, очень уж высокий у них показатель и его нечем реально обосновать.

это также относиться и к Symantec я уже это говорил, обосновать его мне тоже нечем..

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

а мне есть чем обосновать, коллекции хоть и большие и у Клименти и у Маркса, но разные.

Поэтому на них есть разночтения в результатах.

Но Касперский и там и там показывает результаты премиум уровня. Что очень показательно, какие бы не были разнообразные коллекции с задаче касперский справляется хорошо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ezhikkk

Сергей Ильин

ИМХО,мне кажется,что реальный показатель повыше.И тесты Клименти больше всех близки к истине.Детект у NOD 32 сам по себе не очень высокий,но в плюс к базам идёт и эвристик.Так что NOD 32 не особо отстаёт от Каспера,ИМХО.Я это и на своих компах проверяю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
это прежде всего тестовый набор. Сколько в нем каких вредоносов и в каком виде.

второе - это неполнота теста на детект, посколькуфункциональность большинства антивирусов еще в восстановлекнии работоспособного состояния. Назовем это активным заражаением.

третье - это условия теста - сканим зону с вирями, шлем ли их по сети или еще как.

есть еще несколько соображений, но это уже мельче.

ПО первому пункту владельцы мощных коллекций обычно отмалчиваются. Я разговаривал с Клементи - имел такое счастье и мы вместе пришли к выводу, что тест не полон и не ВОСПРОИЗВОДИМ. Из-за закрытости коллекции.

Но в будущем второй недостаток будет исправлен. Реперной точкой был определен следующий год.

Дело в том, что в большинстве тестов описывается в каком виде были вирусы (в архивах или каталоге, пакаваны/распакованы), сколько вредоносов -тоже пишут (и по группам - трояны, черви и т.д), обычно под тестом на детект понимают именно сканирование антивирусом не активных вирусов - просто файлов (восстановление работоспособности после лечения - это другое, таких тестов кроме нас вроде бы никто и не проводил).

По поводу закрытости коллекции - это да и именно поэтому многие тесты не воспроизводимы. Но ведь если отдать эту коллекцию вендорам - то больше и тесты проводить не получиться - придется заново ее собирать. Поэтому в данном случае можно лишь либо верить результатам либо нет.

верить или не верить - это один из вопросов. Я в принципе согласен со всем, что вы иложили, но - поскольку тоже имею коллекцию зверья и не раз с нею "поуправжнялся", то скажу - я всегда смогу "сложить" коллекцию из двух десятков сэмплов, на которых "упадет" абсолютно любой продукт. Поэтому и вопрос воспроизводимости, хотя он и ГОСТ овский :) Работа не неактиву тоже неполностью соответствует заявляемой функциональности... как и активное заражение - это вообще отдельная история, и я лично благодарен вам и Ильину за попытку показа результатов. То, что я критиковал результаты - это не неприятие, это попытка нахождения консенсуса в ПРАВИЛЬНОЙ методике.

остальное - дело личное как тестера так и читателя. Интерпретация теста в данном случае вообще дело забавное :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Я кстати решил сравнить как меняется детект у основных вендоров в тестах AV-TEst.org

взял тесты за сентябрь 2006 года http://www.pcwelt.de/news/sicherheit/59058/

ноябрь 2006

http://www.pcwelt.de/defaults/ShowFullSize...nal.jpg&bu=

и май 2007

http://www.pcwelt.de/news/sicherheit/81346/index2.html

и засунул результаты на одну картинку

AV_Test.org.JPG

post-10-1180701346.jpg

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ordon

Интересный график.Получается что почти все в той или иной мере уменьшили свой уровень детекта и в итоге сползали вниз...

Затo Panda, AVG и Avast наоборот потихоньку росли)...Sophos так вообще ударными темпами =)...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ezhikkk

Вот и я о том же говорил :D Неужели все ведущие производители сбавили свои темпы?! :?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ordon
Неужели все ведущие производители сбавили свои темпы?!

Не думаю, скорее количество и качество зловредов растёт слишком шустро...Хотя конечно, каждый вендор по своему подходит к решению этой проблемы, отсюда и разница...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×