Перейти к содержанию
DaTa

Av-comparatives 2013, File-Detection. Очередной тест или троллинг?

Recommended Posts

DaTa

Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

404

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

Спасибо. Подкоректировал ссылку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

У Симантека всегда был не очень сканер по требованию.

Кстати, у меня от этой пдфки вьювер валится. Пришлось через гугл докс смотреть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Milord
иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

после почтения любого теста, есть такое желание)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX

Ух ты! Нортон в Av-Comparatives вернулся!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX
нет, в тесте описано что они вернули его под давлением общественности.

Ну в принципе оно понятно. У антивируса самая большая доля на домашнем рынке, компания крупнейшая на антивирусном рынке, а в тестах не участвуют, народ решил - непорядок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Смотря кому и где Вы говорили. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

А вот и ответ от вендора: http://community.norton.com/t5/Norton-Prot...c-p/944005#M708

Грамотно написано, но убивает то что выбранные тесты очень подозрительно выставляют победителем именно Symantec.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

могу и под бабушкина тест заточить...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А это ведь прецедент, друзья! Получается, что Андреас фактически публично признал ущербность своей бизнес модели, когда с вендоров берутся деньги за участие в тесте, и протестировал Symantec бесплатно. Ну или бесплатно для Symantec, так будет правильнее. Кто-то ведь все равно заплатил "за себя и за того парня" ;)

В соседней ветке обсуждается актуальность методологии таких тестов http://www.anti-malware.ru/forum/index.php?showtopic=25578 Не буду повторяться, я там написал, что такие тесты безнадежно устарели. По ним нельзя сделать никаких выводов о продукте, насколько он крут или плох. Вендоры делают ставку уже давно на другие технологии. Рулит поведенческий анализ, облака.

Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

av_comparatives.PNG

Аvast, AVG тоже слились. Выводы какие?

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

post-4-1366704451_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тестирования слились вместе с тестерами. Они теперь все липовые и продажные, Симантек их попинал и не заплатил, вот результат. А как мешать с грязью Симантек если их в тестировании нет, для этого и взяли в липовое тестирование.

Это раньше тестирования были более менее нормальные, сейчас эти конторы стали большие, их распиарили. Они хотят много бабла, вот у всяких Авир, Касперских.. появились хорошие результаты.

Только все тестирования давно нечего не стоят, люди и у нас и на западе на липовые тестирования продажные давно не смотрят, факт.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Более эффективным и результативным, а у других хорошего продукта то и нету. Хана им без липовых тестирований, на которые не кто не смотрит и антивирус себе не выбирает. А так и есть. Например Касперскому без большого количества рекламы, пиара, липовых тестирований, промывки мозгов, - нельзя, не купят. А это много денег на рекламу, пиар.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

BitDefender просто обязан хороший детект показывать на таких тестах - ему свой "движок" продавать надо. :)

Огласите весь список прогрессивных вендоров, пожалуйста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Было дело, было. Старожилы помнят те деньки. Вадим, вы то должны помнить времена, когда Клементи обожал Eset, а они его :)http://www.anti-malware.ru/forum/index.php...ost&p=12416

http://www.av-comparatives.org/wp-content/...h_200511_en.pdf Nod32 Advanced+ 62%

http://www.av-comparatives.org/wp-content/...h_200605_en.pdf Nod32 Advanced+ 58%

Ну и можно долго продолжать.

Поэтому текущие результаты - это фиско на фоне прежних успехов в таких тестах.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Так а технологии то где? Файловые сканеры - ОК. Эвристика - ОК. Что-то где-то иногда лечим - ОК. Фаервол и самозащита местами ничего - ОК. А что еще то? Где технологии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Насколько ценен этот тест сейчас и насколько можно верить результатам?
например на av-test Symantec довольно неплохо держится

DaTa

По поводу этого теста есть конкретный ответ команды разработчиков на Community Norton.

"...Мы поддерживаем тесты, сделанные с учетом стандартов AMTSO, ...например, проведенные независимыми лабораториями, такими как AV-Test и Dennis Technology Labs. Эти лаборатории оценивают каждый продукт в реалистичных условиях возможного заражения, которые могут возникнуть у обычных пользователей".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тема тестирований протухла, и больше не интересна людям.

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

image_50ea5e9495a48.png

post-19903-1366873774_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Тема тестирований протухла, и больше не интересна людям.

"я бежала за вами три дня и три ночи, чтобы сказать как вы мне безразличны" :)

Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

О... ESET на родном сайте ещё по результатам 2011 г. в конкуренты TrustPort зачислил. А на российском - "тормозят".

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

Если считать полученные "медальки" по количеству(смотрим первый вопрос), то наверное ESET впереди все планеты. А вот по качеству "медалек" - результаты последних лет достаточно средние.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

Вадим, я думал на тему VB и Av-comparatives. Пришел к выводу, что с ними пока носятся в силу инерции.

1. Надо же о чем-то писать. Сам себя не похвалишь, а тут значки раздают с почти гарантированным результатом, только отгружай вовремя звонкую монету :)

2. У некоторых вендоров показатели в этих тестах входят в списки KPI отдельных подразделений. Поэтому от них не так просто будет отказаться. Как же тогда измерять эффективность?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×