Перейти к содержанию
Danilka

AV-Comparatives: Retrospective/Proactive Test - май 2010

Recommended Posts

Danilka

http://www.av-comparatives.org

6666.png

Интересно будет сравнить с результатами теста на АМ. ;)

post-5261-1276008356_thumb.png

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

Забавно: пишут, что использовались семплы, появившиеся с 11 по 18 февраля. Смотрим на количество семплов - 27271! Как так?

F-Secure и Sophos тестировались с настройками по умолчанию, без расширенных эвристик.

Для Avira и AVG не учитывались сообщения об упаковщиках.

Тест на ложные срабатывания повторно не проводился, хотя было бы интересно узнать, кто работает над этим, а кто нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY

Почему-то недоступно редактирование поста :(

Тест на детектирования после обновления баз тоже не сделали, динамический тест только грядёт; чем тогда они занимались в течение трёх месяцев, если семплы и программы зафиксированы аж в феврале и никаких доп. исследований не проводилось?

Таблица качества эвристики (процент детекта/количество фолсов):

G Data 61%/5

Microsoft 59%/3

Kaspersky 59%/5

F-Secure 52%/2

Eset 52%/3

eScan 50%/1

Bitdefender 50%/3

TrustPort 63%/9

Panda 63%/47

Avira 53%/11

Symantec 43%/11

Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Panda вроде бы нафальшивила по самое нехочу, однако 15 ложных "прилетели" из облака, а детектов со страшными названиями среди них всего 10 (если отбросить, в том числе, странную фразу Trj/CI.A).

У TrustPort все, кроме одного, ложные срабатывания растут из движка AVG. На удивление, сам AVG нафальшивил больше, а задетектил почти в два раза меньше. Что-то они не так протестировали...1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

А PDF не на его сайте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
А PDF не на его сайте?

На его, но официально можно давать ссылки только на морду сайта. Неофициально можно попросить Андреаса о прямых ссылках, как это в своё время делал я. Мне разрешили, но всё равно попросили ссылку на главную, что я и сделал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Илья Рабинович

Ну не знал. Спасибо.

Модераторы, добавьте ссылль http://www.av-comparatives.org в первый пост.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Евгений Павлович

Я так понял - Microsoft представляет свой Essential?

Если так - то совсем неплохо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Я так понял - Microsoft представляет свой Essential?

Ну да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Я понимаю, что новое бесплатное решение в топе антивирусов начало уже многим мозолить кошелёк, но не надо так уж явно бочки катить. Какой информативности может не хватать, если из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

detect.png

post-4003-1276154123_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

dr_dizel

Согласен. Это плюс MS.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Б.К.
Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dr_dizel
Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Да это я их туда бросил - для скриншота работы мсе. Просто первый раз забыл сделать второй скрин. :rolleyes:

Ну вот вам другой скрин:

detect2.png

Trojan:Win32/Orsam!rts is a name used for trojan detections that have been added to our signatures after advanced automated analysis.

И я согласен с роботом т.к. в нём много бяки, да ещё и луа с подозрительными скриптами. :)

post-4003-1276195821_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Любители анализа могут сравнить результаты этого и нашего собственного теста, который вышел на месяц позже. Результаты сильно отличаются, правда это если не брать во внимание одну маааленькую вещь. Читаем сноску мелким шрифтом в отчете:

av_comparatives.PNG

http://www.av-comparatives.org/images/stor...vc_report26.pdf

post-4-1277996797_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×