AV-Comparatives: Retrospective/Proactive Test - май 2010

[Danilka 678]

http://www.av-comparatives.org

Интересно будет сравнить с результатами теста на АМ.

[GReY 35]

Забавно: пишут, что использовались семплы, появившиеся с 11 по 18 февраля. Смотрим на количество семплов - 27271! Как так?

F-Secure и Sophos тестировались с настройками по умолчанию, без расширенных эвристик.

Для Avira и AVG не учитывались сообщения об упаковщиках.

Тест на ложные срабатывания повторно не проводился, хотя было бы интересно узнать, кто работает над этим, а кто нет.

[GReY 35]

Почему-то недоступно редактирование поста

Тест на детектирования после обновления баз тоже не сделали, динамический тест только грядёт; чем тогда они занимались в течение трёх месяцев, если семплы и программы зафиксированы аж в феврале и никаких доп. исследований не проводилось?

Таблица качества эвристики (процент детекта/количество фолсов):

G Data 61%/5

Microsoft 59%/3

Kaspersky 59%/5

F-Secure 52%/2

Eset 52%/3

eScan 50%/1

Bitdefender 50%/3

TrustPort 63%/9

Panda 63%/47

Avira 53%/11

Symantec 43%/11

Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Panda вроде бы нафальшивила по самое нехочу, однако 15 ложных "прилетели" из облака, а детектов со страшными названиями среди них всего 10 (если отбросить, в том числе, странную фразу Trj/CI.A).

У TrustPort все, кроме одного, ложные срабатывания растут из движка AVG. На удивление, сам AVG нафальшивил больше, а задетектил почти в два раза меньше. Что-то они не так протестировали...1

[Umnik 997]

Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

[Danilka 678]

Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

А PDF не на его сайте?

[Илья Рабинович 521]

А PDF не на его сайте?

На его, но официально можно давать ссылки только на морду сайта. Неофициально можно попросить Андреаса о прямых ссылках, как это в своё время делал я. Мне разрешили, но всё равно попросили ссылку на главную, что я и сделал.

[Danilka 678]

Илья Рабинович

Ну не знал. Спасибо.

Модераторы, добавьте ссылль http://www.av-comparatives.org в первый пост.

[Евгений Павлович 90]

Я так понял - Microsoft представляет свой Essential?

Если так - то совсем неплохо!

[Danilka 678]

Я так понял - Microsoft представляет свой Essential?

Ну да.

[dr_dizel 385]

Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Я понимаю, что новое бесплатное решение в топе антивирусов начало уже многим мозолить кошелёк, но не надо так уж явно бочки катить. Какой информативности может не хватать, если из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

[Danilka 678]

dr_dizel

Согласен. Это плюс MS.

[GReY 35]

из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

[dr_dizel 385]

то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

[Б.К. 5]

Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

[dr_dizel 385]

Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Да это я их туда бросил - для скриншота работы мсе. Просто первый раз забыл сделать второй скрин.

Ну вот вам другой скрин:

Trojan:Win32/Orsam!rts is a name used for trojan detections that have been added to our signatures after advanced automated analysis.

И я согласен с роботом т.к. в нём много бяки, да ещё и луа с подозрительными скриптами.

[Сергей Ильин 1538]

Любители анализа могут сравнить результаты этого и нашего собственного теста, который вышел на месяц позже. Результаты сильно отличаются, правда это если не брать во внимание одну маааленькую вещь. Читаем сноску мелким шрифтом в отчете:

http://www.av-comparatives.org/images/stor...vc_report26.pdf