Иван

Уровень детектирования - Virusinfo.info октябрь 2007

В этой теме 13 сообщений

Тестирование антивирусов VirusInfo проводится с использованием бесплатного онлайн-мультисканера VirusTotal. Участники проекта, являющиеся практикующими специалистами в области лечения компьютеров от вредоносного программного обеспечения, загружают на мультисканер вредоносное ПО, полученное с зараженных машин, и публикуют в специально выделенной теме результаты сканирования. Загружаемое вредоносное программное обеспечение должно соответствовать следующим требованиям:

1) Образец не должен детектироваться установленным на зараженном компьютере антивирусным программным обеспечением.

2) Образец должен быть обнаружен лично консультантом в ситуации реального лечения.

3) Образец не должен быть взят со стороннего сайта или из сторонней коллекции вредоносного ПО.

Публикуемые результаты сканирования регулярно обобщаются в график уровня детектирования.

summ_011107_623.png

Подробно http://virusinfo.info/index.php?page=tests

Несколько удивил вывод авторов:

Данные по массовой доле каждого конкретного метода обнаружения в общем количестве детектированных образцов: лучший результат по сигнатурному детектированию показал Ikarus; по эвристическому обнаружению - NOD32; по подозрительным файлам - eSafe, по определению подозрительных упаковщиков / крипторов лучший результат продемонстрировал WebWasher-Gateway.

У меня в связи с ним возник вопрос - реакция suspicious по сути такая же эвристическая, как и a variant of: XXXXX. Хорошо пусть авторы выделяют ее в отдельную категорию, но в итоговом выводе глядя на график я бы сказал, если честно, что лидеры по эвристическому обнаружению Панда и eSafe, а не нодек.

summ_011107.png

post-10-1195045028.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Было бы интересно, если бы авторы собрали бы такую же таблицу по настоящим фолсам различных антивирусов. Тогда, скоррелировав результаты, мы могли бы получить несколько иную, а возможно и более интересную картину.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Несколько удивил вывод авторов:

Несколько удивили результаты Икаруса... Кто как думает, они соответствуют действительности? Может, всё же, где-то вылазит несовершенство методологии?

Спасибо, Иван, данные любопытные.

Разнообразным интересным тестам - да, да, да!

Проплаченным классическим тестам - нет, нет, нет! :lol:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Результаты Икаруса заинтересовали и самих экспертов с virusinfo.info .

Вот, линк: http://virusinfo.info/showpost.php?p=149477&postcount=5

Насколько я знаю, Икарус грешит огромным количеством false positives.

Но это всё слухи, самолично не проверял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

если верить инфе по линку http://virusinfo.info/showpost.php?p=149477&postcount=5, то налицо множественные ложные срабатывания сигнатурами.

Добавлено спустя 9 минут 20 секунд:

а вот информация из VB100%

Several false positives were alerted on, including components of the Nero CD recording software, Norton Ghost and the GoogleTalk installer, all of which were labelled as trojans. This was enough to deny Ikarus its first VB100

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Насколько я знаю, Икарус грешит огромным количеством false positives.

Не просто грешит, он уже одной ногой в аду. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Не просто грешит, он уже одной ногой в аду. ;)

Спасибо за толику здорового смеха, перед уходом с работы домой. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
...

У меня в связи с ним возник вопрос - реакция suspicious по сути такая же эвристическая, как и a variant of: XXXXX. Хорошо пусть авторы выделяют ее в отдельную категорию, но в итоговом выводе глядя на график я бы сказал, если честно, что лидеры по эвристическому обнаружению Панда и eSafe, а не нодек.

Heur/Suspicious у Panda можно наблюдать достаточно просто:

взять -дцать распространенных пакеров/протекторов (можно триальных) и упаковать, к примеру, regedit.

Пронаблюдать нередкое оное "Suspicious"

Так что, imho, "Heur/Suspicious" для данного продукта ~ "Pack/Crypt" для ряда других.

Это на словах.

А в цифрах: будет видно по результатам теста

http://www.anti-malware.ru/phpbb/viewtopic.php?t=3763

Глядя на процентное соотношение "Suspicious" у eSafe

( http://www.esafe.com/esafe/default.aspx ), становится немного страшно за пересылаемое файло. Видимо, опять-таки, режется все, что, в частности, "подозрительно паковано". Аналогично Webwasher-gateway.

С другой стороны, у этих продуктов и назначение другое.

Интересно, почему "Suspicious" нет (сафсэм нет, судя по диаграмме),

например, у BitDef : )

Или, например, в какую категорию попали (?)

"возможно, инфицирован BACKDOOR.Trojan"

или

"возможно, инфицирован DLOADER.Trojan" у DrWeb

Добавлено спустя 24 минуты 52 секунды:

Несколько удивили результаты Икаруса... Кто как думает, они соответствуют действительности?

...

Результаты Икаруса заинтересовали и самих экспертов с virusinfo.info .

Вот, линк: http://virusinfo.info/showpost.php?p=149477&postcount=5

Насколько я знаю, Икарус грешит огромным количеством false positives...

Это, в принципе, тоже можно некоторым образом проверить в тесте пакеров.

А у данного продукта

( http://www.ikarus.at/ )

есть анлглийский интерфейс?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Конечно есть... Их у него даже 3: английский, немецкий и турецкий.

Скачал, установил, еле восстановил систему после его работы, снёс нафиг...

со свежайшими базами Signatur ID: 11712262

нашел в нормальной программе такого зверя:Backdoor.Win32.Delf.apa

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

А что в контексте данного теста вы думаете про eSafe?

За счет suspicious они в 5-ку попали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А что в контексте данного теста вы думаете про eSafe?

За счет suspicious они в 5-ку попали.

С eSafe все ясно - http://www.anti-malware.ru/phpbb/viewtopic...ighlight=#27651 :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

> взять -дцать распространенных пакеров/протекторов (можно

> триальных) и упаковать, к примеру, regedit.

> Пронаблюдать нередкое оное "Suspicious"

Я пробовал взять top-10 пакеров, и паковать helloworld, у авиры детекта небыло, видимо она эрегирует не только на пакер но и на какие-то другие состовляющие файла (импорт/экспорт), может размер файла (я брал огромный delphi файл, почти на 500кб), а может и наоборот - просто мой файл был давно добавлен в фолсы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
> взять -дцать распространенных пакеров/протекторов (можно

> триальных) и упаковать, к примеру, regedit.

> Пронаблюдать нередкое оное "Suspicious"

Я пробовал взять top-10 пакеров, и паковать helloworld, у авиры детекта небыло, видимо она эрегирует не только на пакер но и на какие-то другие состовляющие файла (импорт/экспорт), может размер файла (я брал огромный delphi файл, почти на 500кб), а может и наоборот - просто мой файл был давно добавлен в фолсы.

Dr., в рамках одноименного теста обещаю, по мере сил, продемонстрировать данную картину на стандартных файлах Windows

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS