Перейти к содержанию
DaTa

Av-comparatives 2013, File-Detection. Очередной тест или троллинг?

Recommended Posts

DaTa

Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

404

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

Спасибо. Подкоректировал ссылку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

У Симантека всегда был не очень сканер по требованию.

Кстати, у меня от этой пдфки вьювер валится. Пришлось через гугл докс смотреть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Milord
иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

после почтения любого теста, есть такое желание)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX

Ух ты! Нортон в Av-Comparatives вернулся!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX
нет, в тесте описано что они вернули его под давлением общественности.

Ну в принципе оно понятно. У антивируса самая большая доля на домашнем рынке, компания крупнейшая на антивирусном рынке, а в тестах не участвуют, народ решил - непорядок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Смотря кому и где Вы говорили. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

А вот и ответ от вендора: http://community.norton.com/t5/Norton-Prot...c-p/944005#M708

Грамотно написано, но убивает то что выбранные тесты очень подозрительно выставляют победителем именно Symantec.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

могу и под бабушкина тест заточить...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А это ведь прецедент, друзья! Получается, что Андреас фактически публично признал ущербность своей бизнес модели, когда с вендоров берутся деньги за участие в тесте, и протестировал Symantec бесплатно. Ну или бесплатно для Symantec, так будет правильнее. Кто-то ведь все равно заплатил "за себя и за того парня" ;)

В соседней ветке обсуждается актуальность методологии таких тестов http://www.anti-malware.ru/forum/index.php?showtopic=25578 Не буду повторяться, я там написал, что такие тесты безнадежно устарели. По ним нельзя сделать никаких выводов о продукте, насколько он крут или плох. Вендоры делают ставку уже давно на другие технологии. Рулит поведенческий анализ, облака.

Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

av_comparatives.PNG

Аvast, AVG тоже слились. Выводы какие?

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

post-4-1366704451_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тестирования слились вместе с тестерами. Они теперь все липовые и продажные, Симантек их попинал и не заплатил, вот результат. А как мешать с грязью Симантек если их в тестировании нет, для этого и взяли в липовое тестирование.

Это раньше тестирования были более менее нормальные, сейчас эти конторы стали большие, их распиарили. Они хотят много бабла, вот у всяких Авир, Касперских.. появились хорошие результаты.

Только все тестирования давно нечего не стоят, люди и у нас и на западе на липовые тестирования продажные давно не смотрят, факт.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Более эффективным и результативным, а у других хорошего продукта то и нету. Хана им без липовых тестирований, на которые не кто не смотрит и антивирус себе не выбирает. А так и есть. Например Касперскому без большого количества рекламы, пиара, липовых тестирований, промывки мозгов, - нельзя, не купят. А это много денег на рекламу, пиар.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

BitDefender просто обязан хороший детект показывать на таких тестах - ему свой "движок" продавать надо. :)

Огласите весь список прогрессивных вендоров, пожалуйста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Было дело, было. Старожилы помнят те деньки. Вадим, вы то должны помнить времена, когда Клементи обожал Eset, а они его :)http://www.anti-malware.ru/forum/index.php...ost&p=12416

http://www.av-comparatives.org/wp-content/...h_200511_en.pdf Nod32 Advanced+ 62%

http://www.av-comparatives.org/wp-content/...h_200605_en.pdf Nod32 Advanced+ 58%

Ну и можно долго продолжать.

Поэтому текущие результаты - это фиско на фоне прежних успехов в таких тестах.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Так а технологии то где? Файловые сканеры - ОК. Эвристика - ОК. Что-то где-то иногда лечим - ОК. Фаервол и самозащита местами ничего - ОК. А что еще то? Где технологии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Насколько ценен этот тест сейчас и насколько можно верить результатам?
например на av-test Symantec довольно неплохо держится

DaTa

По поводу этого теста есть конкретный ответ команды разработчиков на Community Norton.

"...Мы поддерживаем тесты, сделанные с учетом стандартов AMTSO, ...например, проведенные независимыми лабораториями, такими как AV-Test и Dennis Technology Labs. Эти лаборатории оценивают каждый продукт в реалистичных условиях возможного заражения, которые могут возникнуть у обычных пользователей".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тема тестирований протухла, и больше не интересна людям.

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

image_50ea5e9495a48.png

post-19903-1366873774_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Тема тестирований протухла, и больше не интересна людям.

"я бежала за вами три дня и три ночи, чтобы сказать как вы мне безразличны" :)

Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

О... ESET на родном сайте ещё по результатам 2011 г. в конкуренты TrustPort зачислил. А на российском - "тормозят".

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

Если считать полученные "медальки" по количеству(смотрим первый вопрос), то наверное ESET впереди все планеты. А вот по качеству "медалек" - результаты последних лет достаточно средние.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

Вадим, я думал на тему VB и Av-comparatives. Пришел к выводу, что с ними пока носятся в силу инерции.

1. Надо же о чем-то писать. Сам себя не похвалишь, а тут значки раздают с почти гарантированным результатом, только отгружай вовремя звонкую монету :)

2. У некоторых вендоров показатели в этих тестах входят в списки KPI отдельных подразделений. Поэтому от них не так просто будет отказаться. Как же тогда измерять эффективность?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • Липковский Борис
      Моё отношение к казино вполне положительное, я уже больше полугода играю в слоты на сайте Play Fortuna Уже неоднократно поднимал там приличные деньги и не жалуюсь. Естественно и несколько раз проигрывал, но в каждой игре бывают проигрыши и это вполне нормально. На этом сайте есть разные слоты, их около двухсот штук, можно выбрать любой и на каждом из них высокий шанс выиграть.
    • Dima2_90
      Об особенностях сканирования исполняемых файлов антивирусами и доверии результатам VirusTotal - https://habr.com/post/346480/ Цитаты из статьи "Забавно, детект уменьшился с 60 для неупакованного файла и 41 для архива до 17 — при этом ни один из антивирусных движков не обнаружил Eicar, детекты явно имеют эвристический характер, а в ряде случаев напоминают ложное срабатывание (DrWeb, Baidu и др.)" "6 детектов из 67. Шесть, Карл! Все — эвристические. И скорее всего ничего не подозревающий пользователь посчитает файл безопасным." "современные антивирусные сканеры так и остались барахлом, которым были десяток-два лет назад, абсолютно пасующим перед простейшими видами упаковки кода. Решения в виде тестовых сред — «песочниц», эвристических анализаторов и т.д. только добавили неразберихи, ложных срабатываний, но по сути не защищают от реальной угрозы. Со старым, открытым и разжёванным до потрохов UPX как был бардак — так он и остался. А ведь я вполне мог упаковать не файл, вызывающий вредоносную активность, а непосредственно код, работать не с файлами на диске в %temp%, а в памяти, использовать не свободно доступные утилиты, а собственные или закрытые разработки — и таким образом обойти срабатывание резидентной защиты. Я вполне мог добавить интересные элементы интерфейса или скопировать таковой из распространённой программы — и обойти проактивку у неискушённого пользователя, который просто будет соглашаться с любыми запросами, доверяя тому, что запустил.

      То, что мы сделали выше — примитивный способ обмануть антивирус, который может понять и реализовать практически любой. И он сработал. Что говорить про искушённых специалистов!"
    • Dima2_90
      Ad-Aware --------- https://www.adaware.com/support/securitycenter/report_false_positives.php  Antiy-AVL --------- [email protected] Avast --------------- https://www.avast.ru/false-positive-file-form.php AVG ---------------- https://www.avg.com/ru-ru/false-positive-file-form Avira --------------- https://analysis.avira.com/en/submit BitDefender -------- https://www.bitdefender.com/submit/ ClamAV ------------ http://www.clamav.net/reports/fp DrWeb ------------- https://vms.drweb.ua/sendvirus ESET-NOD32 ------- https://www.esetnod32.ru/support/knowledge_base/new_virus/ Kaspersky --------- https://virusdesk.kaspersky.ru/ Microsoft ---------- https://www.microsoft.com/en-us/wdsi/filesubmission NANO-Antivirus ---- http://nanoav.ru/index.php?option=com_content&view=article&id=15&Itemid=83&lang=ru Symantec ---------- https://submit.symantec.com/false_positive/
    • Липковский Борис
      Вдруг понадобится, спасибо за информацию.
    • Липковский Борис
      Я собираю с разных стран магнитики. Это очень круто.
×