Danilka

AV-Comparatives: Retrospective/Proactive Test - май 2010

В этой теме 16 сообщений

Забавно: пишут, что использовались семплы, появившиеся с 11 по 18 февраля. Смотрим на количество семплов - 27271! Как так?

F-Secure и Sophos тестировались с настройками по умолчанию, без расширенных эвристик.

Для Avira и AVG не учитывались сообщения об упаковщиках.

Тест на ложные срабатывания повторно не проводился, хотя было бы интересно узнать, кто работает над этим, а кто нет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Почему-то недоступно редактирование поста :(

Тест на детектирования после обновления баз тоже не сделали, динамический тест только грядёт; чем тогда они занимались в течение трёх месяцев, если семплы и программы зафиксированы аж в феврале и никаких доп. исследований не проводилось?

Таблица качества эвристики (процент детекта/количество фолсов):

G Data 61%/5

Microsoft 59%/3

Kaspersky 59%/5

F-Secure 52%/2

Eset 52%/3

eScan 50%/1

Bitdefender 50%/3

TrustPort 63%/9

Panda 63%/47

Avira 53%/11

Symantec 43%/11

Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Panda вроде бы нафальшивила по самое нехочу, однако 15 ложных "прилетели" из облака, а детектов со страшными названиями среди них всего 10 (если отбросить, в том числе, странную фразу Trj/CI.A).

У TrustPort все, кроме одного, ложные срабатывания растут из движка AVG. На удивление, сам AVG нафальшивил больше, а задетектил почти в два раза меньше. Что-то они не так протестировали...1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka, а Клементи разве не просит давать ссылку на сайт, а не прямые на PDF?

А PDF не на его сайте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А PDF не на его сайте?

На его, но официально можно давать ссылки только на морду сайта. Неофициально можно попросить Андреаса о прямых ссылках, как это в своё время делал я. Мне разрешили, но всё равно попросили ссылку на главную, что я и сделал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я так понял - Microsoft представляет свой Essential?

Если так - то совсем неплохо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я так понял - Microsoft представляет свой Essential?

Ну да.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Microsoft, на первый взгляд, обладает удачным сочетанием детекта и фолса, но его ложные срабатывания невозможно отличить от настоящих, поскольку он пишет конкретное название заразы вместо слов suspected/heur/generiс etc. Я бы за такое штрафы выписывал, равно как и за фолсы на широко распространённых файлах.

Я понимаю, что новое бесплатное решение в топе антивирусов начало уже многим мозолить кошелёк, но не надо так уж явно бочки катить. Какой информативности может не хватать, если из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

detect.png

post-4003-1276154123_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
из имени детекта уже многое понятно, подозрительный объект сразу предлагается поместить в карантин, а затем отправить в вирлаб? Для особо непонятливых на имена там даже есть линк на страницу описания детекта. Многие продукты могут позавидовать такой информативности.

то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
то есть вы хотите сказать, что это было ложное срабатывание и dll в корне диска D вовсе не "обфускатор"? Тогда почему её идентифицировали с такой страшной мордой и предложили залечить? А лечение, конечно же, будет удалением.

Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Если кликнуть там по линку, то будет подробное описание названия, почему возник сий детект и как жить дальше. Скажете это хуже детекта крипт/хпак? И предлагаемое действие - карантин, а не лечение удалением, как любят некоторые вендоры. Ну и в итоге обфусцированное поделие неизвестно мелкомягким и поэтому просьба заслать его для разбора полётов.

Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Судя по тому, что эта DLL найдена в двух местах - в корне диска D: и на рабочем столе (места нехорошие, зловреды там бывают часто) - похоже, это и на самом деле компонент вируса/трояна.

Да это я их туда бросил - для скриншота работы мсе. Просто первый раз забыл сделать второй скрин. :rolleyes:

Ну вот вам другой скрин:

detect2.png

Trojan:Win32/Orsam!rts is a name used for trojan detections that have been added to our signatures after advanced automated analysis.

И я согласен с роботом т.к. в нём много бяки, да ещё и луа с подозрительными скриптами. :)

post-4003-1276195821_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Любители анализа могут сравнить результаты этого и нашего собственного теста, который вышел на месяц позже. Результаты сильно отличаются, правда это если не брать во внимание одну маааленькую вещь. Читаем сноску мелким шрифтом в отчете:

av_comparatives.PNG

http://www.av-comparatives.org/images/stor...vc_report26.pdf

post-4-1277996797_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS