Уровень детектирования - Virusinfo.info октябрь 2007

[Иван 290]

Тестирование антивирусов VirusInfo проводится с использованием бесплатного онлайн-мультисканера VirusTotal. Участники проекта, являющиеся практикующими специалистами в области лечения компьютеров от вредоносного программного обеспечения, загружают на мультисканер вредоносное ПО, полученное с зараженных машин, и публикуют в специально выделенной теме результаты сканирования. Загружаемое вредоносное программное обеспечение должно соответствовать следующим требованиям:

1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением.

2) Образец должен быть обнаружен лично консультантом в ситуации реального лечения.

3) Образец не должен быть взят со стороннего сайта или из сторонней коллекции вредоносного ПО.

Публикуемые результаты сканирования регулярно обобщаются в график уровня детектирования.

Подробно http://virusinfo.info/index.php?page=tests

Несколько удивил вывод авторов:

Данные по массовой доле каждого конкретного метода обнаружения в общем количестве детектированных образцов: лучший результат по сигнатурному детектированию показал Ikarus; по эвристическому обнаружению - NOD32; по подозрительным файлам - eSafe, по определению подозрительных упаковщиков / крипторов лучший результат продемонстрировал WebWasher-Gateway.

У меня в связи с ним возник вопрос - реакция suspicious по сути такая же эвристическая, как и a variant of: XXXXX. Хорошо пусть авторы выделяют ее в отдельную категорию, но в итоговом выводе глядя на график я бы сказал, если честно, что лидеры по эвристическому обнаружению Панда и eSafe, а не нодек.

[dan 10]

Было бы интересно, если бы авторы собрали бы такую же таблицу по настоящим фолсам различных антивирусов. Тогда, скоррелировав результаты, мы могли бы получить несколько иную, а возможно и более интересную картину.

[Valery Ledovskoy 1082]

Несколько удивил вывод авторов:

Несколько удивили результаты Икаруса... Кто как думает, они соответствуют действительности? Может, всё же, где-то вылазит несовершенство методологии?

Спасибо, Иван, данные любопытные.

Разнообразным интересным тестам - да, да, да!

Проплаченным классическим тестам - нет, нет, нет!

[dan 10]

Результаты Икаруса заинтересовали и самих экспертов с virusinfo.info .

Вот, линк: http://virusinfo.info/showpost.php?p=149477&postcount=5

Насколько я знаю, Икарус грешит огромным количеством false positives.

Но это всё слухи, самолично не проверял.

[Иван 290]

если верить инфе по линку http://virusinfo.info/showpost.php?p=149477&postcount=5, то налицо множественные ложные срабатывания сигнатурами.

Добавлено спустя 9 минут 20 секунд:

а вот информация из VB100%

Several false positives were alerted on, including components of the Nero CD recording software, Norton Ghost and the GoogleTalk installer, all of which were labelled as trojans. This was enough to deny Ikarus its first VB100

[SuperBrat 6]

Насколько я знаю, Икарус грешит огромным количеством false positives.

Не просто грешит, он уже одной ногой в аду.

[dan 10]

Не просто грешит, он уже одной ногой в аду.

Спасибо за толику здорового смеха, перед уходом с работы домой.

[NickXists 5]

...

У меня в связи с ним возник вопрос - реакция suspicious по сути такая же эвристическая, как и a variant of: XXXXX. Хорошо пусть авторы выделяют ее в отдельную категорию, но в итоговом выводе глядя на график я бы сказал, если честно, что лидеры по эвристическому обнаружению Панда и eSafe, а не нодек.

Heur/Suspicious у Panda можно наблюдать достаточно просто:

взять -дцать распространенных пакеров/протекторов (можно триальных) и упаковать, к примеру, regedit.

Пронаблюдать нередкое оное "Suspicious"

Так что, imho, "Heur/Suspicious" для данного продукта ~ "Pack/Crypt" для ряда других.

Это на словах.

А в цифрах: будет видно по результатам теста

http://www.anti-malware.ru/phpbb/viewtopic.php?t=3763

Глядя на процентное соотношение "Suspicious" у eSafe

( http://www.esafe.com/esafe/default.aspx ), становится немного страшно за пересылаемое файло. Видимо, опять-таки, режется все, что, в частности, "подозрительно паковано". Аналогично Webwasher-gateway.

С другой стороны, у этих продуктов и назначение другое.

Интересно, почему "Suspicious" нет (сафсэм нет, судя по диаграмме),

например, у BitDef : )

Или, например, в какую категорию попали (?)

"возможно, инфицирован BACKDOOR.Trojan"

или

"возможно, инфицирован DLOADER.Trojan" у DrWeb

Добавлено спустя 24 минуты 52 секунды:

Несколько удивили результаты Икаруса... Кто как думает, они соответствуют действительности?

...

Результаты Икаруса заинтересовали и самих экспертов с virusinfo.info .

Вот, линк: http://virusinfo.info/showpost.php?p=149477&postcount=5

Насколько я знаю, Икарус грешит огромным количеством false positives...

Это, в принципе, тоже можно некоторым образом проверить в тесте пакеров.

А у данного продукта

( http://www.ikarus.at/ )

есть анлглийский интерфейс?

[Олег777 85]

Конечно есть... Их у него даже 3: английский, немецкий и турецкий.

Скачал, установил, еле восстановил систему после его работы, снёс нафиг...

со свежайшими базами Signatur ID: 11712262

нашел в нормальной программе такого зверя:Backdoor.Win32.Delf.apa

[Сергей Ильин 1538]

А что в контексте данного теста вы думаете про eSafe?

За счет suspicious они в 5-ку попали.

[radioelectron 80]

А что в контексте данного теста вы думаете про eSafe?

За счет suspicious они в 5-ку попали.

С eSafe все ясно - http://www.anti-malware.ru/phpbb/viewtopic...ighlight=#27651

[Dr.Golova 55]

> взять -дцать распространенных пакеров/протекторов (можно

> триальных) и упаковать, к примеру, regedit.

> Пронаблюдать нередкое оное "Suspicious"

Я пробовал взять top-10 пакеров, и паковать helloworld, у авиры детекта небыло, видимо она эрегирует не только на пакер но и на какие-то другие состовляющие файла (импорт/экспорт), может размер файла (я брал огромный delphi файл, почти на 500кб), а может и наоборот - просто мой файл был давно добавлен в фолсы.

[NickXists 5]

> взять -дцать распространенных пакеров/протекторов (можно

> триальных) и упаковать, к примеру, regedit.

> Пронаблюдать нередкое оное "Suspicious"

Я пробовал взять top-10 пакеров, и паковать helloworld, у авиры детекта небыло, видимо она эрегирует не только на пакер но и на какие-то другие состовляющие файла (импорт/экспорт), может размер файла (я брал огромный delphi файл, почти на 500кб), а может и наоборот - просто мой файл был давно добавлен в фолсы.

Dr., в рамках одноименного теста обещаю, по мере сил, продемонстрировать данную картину на стандартных файлах Windows