Перейти к содержанию
DaTa

Av-comparatives 2013, File-Detection. Очередной тест или троллинг?

Recommended Posts

DaTa

Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

404

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

Спасибо. Подкоректировал ссылку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
Собственно сабж. http://www.av-comparatives.org/images/docs...;_201303_en.pdf

Насколько ценен этот тест сейчас и насколько можно верить результатам? :)

например на av-test Symantec довольно неплохо держится а в этом тесте его даже MSE уделал( не считаю MSE плохим, но все же)

У Симантека всегда был не очень сканер по требованию.

Кстати, у меня от этой пдфки вьювер валится. Пришлось через гугл докс смотреть.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Milord
иногда прям подмывает ради доказательства несостоятельности тестов по сканированию папки с малварью создать тест куда подобрать малварь таким образом чтобы (например) авира и каспер были в отстойниках, а какой-нибудь nano взял золото. :)

после почтения любого теста, есть такое желание)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX

Ух ты! Нортон в Av-Comparatives вернулся!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
CatalystX
нет, в тесте описано что они вернули его под давлением общественности.

Ну в принципе оно понятно. У антивируса самая большая доля на домашнем рынке, компания крупнейшая на антивирусном рынке, а в тестах не участвуют, народ решил - непорядок.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Z.E.A.
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А здесь, в зависимости от того насколько этот тест навредит/ненавредит маркетинговой линии Symantec, и до суда недалеко.

Я ведь говорил им что использование сигнатур основаных на хэш-сумах, для детектирования малвари, это екстрим. :)

Смотря кому и где Вы говорили. :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DaTa

А вот и ответ от вендора: http://community.norton.com/t5/Norton-Prot...c-p/944005#M708

Грамотно написано, но убивает то что выбранные тесты очень подозрительно выставляют победителем именно Symantec.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
priv8v

могу и под бабушкина тест заточить...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
нет, в тесте описано что они вернули его под давлением общественности. Даная ситуация очень похожа на тестирование Dr.Web на AM, только результаты у Dr.Web более приемлемые.

А это ведь прецедент, друзья! Получается, что Андреас фактически публично признал ущербность своей бизнес модели, когда с вендоров берутся деньги за участие в тесте, и протестировал Symantec бесплатно. Ну или бесплатно для Symantec, так будет правильнее. Кто-то ведь все равно заплатил "за себя и за того парня" ;)

В соседней ветке обсуждается актуальность методологии таких тестов http://www.anti-malware.ru/forum/index.php?showtopic=25578 Не буду повторяться, я там написал, что такие тесты безнадежно устарели. По ним нельзя сделать никаких выводов о продукте, насколько он крут или плох. Вендоры делают ставку уже давно на другие технологии. Рулит поведенческий анализ, облака.

Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

av_comparatives.PNG

Аvast, AVG тоже слились. Выводы какие?

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

post-4-1366704451_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тестирования слились вместе с тестерами. Они теперь все липовые и продажные, Симантек их попинал и не заплатил, вот результат. А как мешать с грязью Симантек если их в тестировании нет, для этого и взяли в липовое тестирование.

Это раньше тестирования были более менее нормальные, сейчас эти конторы стали большие, их распиарили. Они хотят много бабла, вот у всяких Авир, Касперских.. появились хорошие результаты.

Только все тестирования давно нечего не стоят, люди и у нас и на западе на липовые тестирования продажные давно не смотрят, факт.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Более эффективным и результативным, а у других хорошего продукта то и нету. Хана им без липовых тестирований, на которые не кто не смотрит и антивирус себе не выбирает. А так и есть. Например Касперскому без большого количества рекламы, пиара, липовых тестирований, промывки мозгов, - нельзя, не купят. А это много денег на рекламу, пиар.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Вот Eset стал откровенно проваливать такие тесты. А ведь этот вендор был идеологом таких тестов и основным спонсором долгое время. Видите где он в списке? Выводы какие?

А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Сравнивать по этому тесту следует только "легаси антивирусы" (legacy antivirus), у которых кроме файловой эвристики и нет ничего до сих пор. И скорее всего уже никогда и не будет. Это все мультидвижковые поделки, Avira, Fortinet, eScan и т.п. К ним бы хорошо еще подошел Dr.Web, но его в этом тесте нет.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Из прогрессивных вендоров в топе только Bitdefender и Касперский, эти двое не подзабили на старые добрые технологии и поддерживают их такое ощущение чисто для таких тестов :)

BitDefender просто обязан хороший детект показывать на таких тестах - ему свой "движок" продавать надо. :)

Огласите весь список прогрессивных вендоров, пожалуйста.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А ESET когда-нибудь побеждал в таких тестах? Они почти всегда на вторых ролях были. И хвастались в основном прохождением тестов, скоростью и количеством "памятных значков".

Было дело, было. Старожилы помнят те деньки. Вадим, вы то должны помнить времена, когда Клементи обожал Eset, а они его :)http://www.anti-malware.ru/forum/index.php...ost&p=12416

http://www.av-comparatives.org/wp-content/...h_200511_en.pdf Nod32 Advanced+ 62%

http://www.av-comparatives.org/wp-content/...h_200605_en.pdf Nod32 Advanced+ 58%

Ну и можно долго продолжать.

Поэтому текущие результаты - это фиско на фоне прежних успехов в таких тестах.

Странно, вроде бы G-Data и Dr.Web в тестах на Anti-malware.ru достаточно неплохие результаты показывали не только в файловой эвристике.

Так а технологии то где? Файловые сканеры - ОК. Эвристика - ОК. Что-то где-то иногда лечим - ОК. Фаервол и самозащита местами ничего - ОК. А что еще то? Где технологии?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Андрей-001
Насколько ценен этот тест сейчас и насколько можно верить результатам?
например на av-test Symantec довольно неплохо держится

DaTa

По поводу этого теста есть конкретный ответ команды разработчиков на Community Norton.

"...Мы поддерживаем тесты, сделанные с учетом стандартов AMTSO, ...например, проведенные независимыми лабораториями, такими как AV-Test и Dennis Technology Labs. Эти лаборатории оценивают каждый продукт в реалистичных условиях возможного заражения, которые могут возникнуть у обычных пользователей".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
EVIK№1

Тема тестирований протухла, и больше не интересна людям.

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

image_50ea5e9495a48.png

post-19903-1366873774_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Тема тестирований протухла, и больше не интересна людям.

"я бежала за вами три дня и три ночи, чтобы сказать как вы мне безразличны" :)

Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

О... ESET на родном сайте ещё по результатам 2011 г. в конкуренты TrustPort зачислил. А на российском - "тормозят".

Ну выйграл Касперский один разок в 2012 году, так и NOD32 получил продвинутый +, в 2012 году.

А ещё Касперский тестирования VB 100% проваливает. :)

Если считать полученные "медальки" по количеству(смотрим первый вопрос), то наверное ESET впереди все планеты. А вот по качеству "медалек" - результаты последних лет достаточно средние.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему же ESET так волнует количество полученных в тестах "значков"? ESET ими постоянно меряется. Это какой-то комплекс?

Вадим, я думал на тему VB и Av-comparatives. Пришел к выводу, что с ними пока носятся в силу инерции.

1. Надо же о чем-то писать. Сам себя не похвалишь, а тут значки раздают с почти гарантированным результатом, только отгружай вовремя звонкую монету :)

2. У некоторых вендоров показатели в этих тестах входят в списки KPI отдельных подразделений. Поэтому от них не так просто будет отказаться. Как же тогда измерять эффективность?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
    • demkd
      Если пишет что файлов нет то так оно и есть, по пути в принципе видно, что их там точно быть не может.
      Проблема же в том что при запуске под SYSTEM, API windows не способен правильно разбирать некоторые ярлыки, где не указан абсолютный путь, такие ярлыки меняют цель в зависимости от того под каким пользователем работает конкретный процесс, зачем это сделал microsoft для меня загадка.
      Единственное решение - это написать api для разбора любых ярлыков с нуля и добавить еще нехилую надстройку для анализа относительных путей в них, но это довольно сложная задача и на данный момент реализована лишь в малой части и скорее всего никогда не будет реализована на 100%.
      Потому если хочется удалить ссылки на отсутствующие объекты имеющие ярлыки то нужно запускаться под текущим пользователем, проблем будет меньше... если пользователь один Все системные файлы имеют внешнюю эцп и вполне определенные имена.
×