Результаты теста проактивной антивирусной защиты II

[3TE116 45]

Для меня фолсы не проблема и их у меня нет.

А детектом я вполне доволен "В тишине и не в обиде!" - это всеравно,что поселиться в 5-ти звёздочной гостинице.Если антивирус хорошо справляется с вирусами - это уже хорошо.

И если детект на нужном уровне то от этого только плюс.

Да и,как раз насчёт одной функции /Игнорировать или пропустить/ в Авире эта функция странно работает.Если выбрать Игнор,Пропустить,разрешить,то при повторном скане этот самый файл детектит опять.Я так предполагаю,что эти функции просто не работают.

Хотя,например,при детекте не пишется что файл подозревают во вредоносности,а просто пишется некоторое объяснение - я его в принципе не читаю,поэтому не могу сказать,что там пишется.Я привёл это к тому,что бывают иногда случаи такие и встречаются.

А так я своим антивирусом вполне доволен.

[sww 486]

У меня появилась еще одна мысль, которая сводит данный тест ниже плинтуса, как совершенно неправильно выполненный (и сдается мне, что так оно и есть). Базы были заморожены - это хорошо. Однако, это совсем не означает, что сигнатурного детектирования сэмплов не было даже после заморозки. В итоге, мы получаем то, что некоторые вендоры заведомо детектировали часть сэмплов, если не большую ее часть.

Если подумать о том, что заранее был сигнатурный детект, то объясните мне пожалуйста, где тут тест эвристиков или проактива?

Все смешалось...

Хочу вердикты по всем вендорам, чтобы окончательно приопустить восторги насчет проактивов и эвристиков.

[vovan7777 95]

просто,глядя со стороны,тест свелся не к эвристике,а на фолсы.

если фолсы во главе-то тогда Нортон -gold....

и 10% детекта между ним и касперским тоже вроде и не критично тогда...

я же тоже не говорил давать икарусу -gold,если он будет детектить любые 9 файлов из любых 10 как вирусы,не смотря ,что это за файл.

[Сергей Ильин 1538]

просто,глядя со стороны,тест свелся не к эвристике,а на фолсы. unsure.gif

Он был такой изначально еще в 2007 году, только тогда не было проверки на ложные срабатывания.

Однако, это совсем не означает, что сигнатурного детектирования сэмплов не было даже после заморозки.

Чтобы минимизировать влияние сигнатурного детекта мы делали для сбора самплов задержку в 2 недели после заморозки баз. Конечно, дженерики на что-то были у многих, это нормально.

Потом как уже много раз обсуждалось до проведения первого теста и после публикации его результатов, как определить сигнатурный детект? Предположим у DrWeb, зная как там устроена классификация вердиктов тебе это удастся, а у какого-нибудь AVG, Trend Micro или Sophos? Это все вилами на воде писано. Вердикт *.gen может означать как дженерик, так и что угодно еще. Я помню была у нас тут такая тема про классификацию вердиктов, в ней мы пришли, что все это бессмысленно делать.

Именно поэтому я в самом начала и пишу:

В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры) ...

[georgy_n 80]

Однако, это совсем не означает, что сигнатурного детектирования сэмплов не было даже после заморозки

Мысль не уловил Все же - "после заморозки" или более правильно читать "до заморозки"?

[sww 486]

Чтобы минимизировать влияние сигнатурного детекта мы делали для сбора самплов задержку в 2 недели после заморозки баз. Конечно, дженерики на что-то были у многих, это нормально.

Потом как уже много раз обсуждалось до проведения первого теста и после публикации его результатов, как определить сигнатурный детект? Предположим у DrWeb, зная как там устроена классификация вердиктов тебе это удастся, а у какого-нибудь AVG, Trend Micro или Sophos? Это все вилами на воде писано. Вердикт *.gen может означать как дженерик, так и что угодно еще. Я помню была у нас тут такая тема про классификацию вердиктов, в ней мы пришли, что все это бессмысленно делать.

Эта задержка не помогает, как мне кажется. Дженерики - это хорошо, да они должны быть, но вот тупой сигнатуры быть не должно. Во всяком случае, надо минимизировать ее присутствие. Настройками сигнатуры не отключишь, а жаль.

Поехали дальше. Согласен, что определить по имени что это такое - не получится, даже у ДрВеб

В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры) ...

Это не расширенные сигнатуры, это тупые, обычные сигнатуры. Они не должны влиять на результат. Я заранее могу предсказать по нескольким вендорам, кто слетить нахрен вниз, если убрать обычные сигнатуры, а кто останется, потому что у них есть эвристик, а не жалкое его подобие.

Вот взять и выкинуть 50% детекта, думаю вы все "объсмеетесь" с результатов.

Так что насчет вердиктов?

Мысль не уловил Все же - "после заморозки" или более правильно читать "до заморозки"?

Базы заморожены, время идет, а сигнатурный детект есть. А читать можно как угодно

[Сергей Ильин 1538]

Так что насчет вердиктов?

Постараюсь сделать статистику по некоторым вендорам. На память помню кое-что, было очень много таких вердиктов:

У Касперского - HEUR:Trojan и HEUR:Downloader

У DrWeb - *.origin и "Возможно ..."

У Eset - "Probably ..."

[sww 486]

Постараюсь сделать статистику по некоторым вендорам. На память помню кое-что, было очень много таких вердиктов:

У Касперского - HEUR:Trojan и HEUR:Downloader

У DrWeb - *.origin и "Возможно ..."

У Eset - "Probably ..."

Packed (pack, genpack, etc...) в имени. Это все как бы дженерики, они из разряда "недо-эвристики". Но, если есть Ос.Trojan.Имя.номер.подномер, то это уже совсем не эвристика. Это обыкновенный сигнатурный детект.

Это я вообще все к тому, чтобы следующий тест был лучше, чтобы учли все проблемы с чистыми файлами и сигнатурным детектом, иначе несолидно

[Олег Гудилин 95]

А вот синьюс в этот раз молодцы - четко с первого предложения написали, что это тест ЭВРИСТИКИ

[SBond 253]

Очень чувствую себя виноватым, тем, что своим высказыванием невольно увеличил кол-во споров...

Очень хотелось бы, чтобы администрация дала формулировку, что такое проактивная защита, а что такое эвристика, в чем у них разница...

Попытаюсь сделать некоторые формулировки сам, пользуясь различными источниками.

Что такое эвристика - это слово от греческого heurisko - нахожу.

Эвристика - Совокупность логических приемов и методических правил теоретического исследования и отыскания возможной истины, а также совокупность исследовательских методов, способствующих обнаружению ранее неизвестного. Т.е. В любом случае, это метод теоретического исследования. И говоря строго, применительно к антивирусам, это анализ кода по нескольким заданным показателям и заключение об их опасности или безвредности приложения.

Что такое HIPS - Host Intrusion Prevention System, дословно - система предотвращения вторжения в компьютер.

И говоря проще, это превентивная защита ПК.

Что такое Превентивная защита - Защита имеющая целью предупредить нападение готовящегося к войне противника.

HIPS в основе своей является в первую очередь как программа с превентивными анализами, основанные на системе проактивной защиты ПК от любых видов угроз, базирующейся на анализе поведения компонентов системы. По сути - это поведенческие анализаторы, которые по определенным признакам, характерным для вредоносных объектов (вернее - нехарактерным для обычных объектов), предотвращают атаку и нежелательные действия в системе, без разделения на предотвращения вторжения из сети или внутренние деструктивные действия и тд.

---------------------

Сейчас в нынешнее время очень трудно судить, какой файл чист, а какой имеет возможный вредоносный характер, и неизвестно, что хуже, программа имеющая полное доверие и разрушающая защиту компьютера невольно, или это деструктивные действие откровенного вируса.

Помните какие скандалы и споры появились после обнаружения первых руткитов, и самое главное, какую не состоятельность мы увидели, у антивирусов, и их эвристических анализаторов...

Вот и вся их эвристика, вот поэтому в новых версиях Windows компания MS серьезно отнеслась к проактивной защите...

Кстати про фолсы, где гарантия, что те "чистые" программы, которые были у администрации, являются с уверенностью на 100% ими?

ИМХО - В любом случае, этот тест, тогда надо было прямо назвать - тест Эвристики.

--------------------

Источники

Большое спасибо хотелось бы выразить Виталию Я, за поддержку.

Большое спасибо за свои высказывания, SWW, очень по делу, и в точку...

Большое спасибо также vovan7777 хорошее мышление, с эвристикой у вас все в порядке

Отдельное спасибо, администрации, в частности Сергею Ильину, за его ответы, и еще раз большое спасибо за проведенные тесты.

А так же, большое спасибо, всем участникам этой темы.

[TANUKI 240]

Режет глаз конечно у Авиры 71% детект,а у Фсекуре 43% и обоим серебро....

Не стоит так нервничать и переживать

Уверен, что каждый пользователь, который интересуется этой темой более глубоко, чем просто подсчет "попугаев" сделает для себя правильный вывод Лично я доволен результатом Авиры и считаю, что лучше классически перепдеть, чем недобдеть, но в рамках разумного, конечно (а не как у Софоса ) А золото, платина или переходящее красное знамя с вымпелом... Разве в этом суть теста? главное результат и вы его получили За что спасибо всем, кто потратил сове время и знания на это исследование!

[vovan7777 95]

Лично я доволен результатом Авиры и считаю, что лучше классически перепдеть, чем недобдеть, но в рамках разумного, конечно (а не как у Софоса

Я вообще с фолсами не сталкивался как то...

После установки XP SP2 (в октябре SP3) ,я поставил на ПК только:

ПО Офис- для работы.

для просмотра фото: ACDSee 10

для видео: K-Lite Codec Mega

для чистки системы: ccleaner и TuneUP Utilities 2008,WinTools,JV16 Power Tools

для защиты: Авира,Comodo 3 и avz,hijack this

архиватор: WinRAR

для инет тв: SopCast и TV ants

для конвертации медиа и аудиофайлов и их редактирования:Total Video Convector

Также присутствуют ,так как необходимы: Webmoney,Adobe Reader 8 ,AnVir Task manager,Real Player.,ICQ6(год не пользовался уже)

Вот и весь набор необходимый для нормальной работы в сети и с файлами.

Авира по этим программам не фолсила и не ругалась.

Все они скачены на сайтах производителей,а некоторые еще и проверенны (не поленился и отправил в авиру и лк файлы)

Больше у меня нет программ на домашнем пк никаких...вот поэтому я может и не понимаю до конца о чем речь и ,что "авира много фолсит".

[vaber 350]

Как вариант проблему с сигнатурным детектом в подобном тесте можно попробовать решить рассылкой вендорам списка md5 собранных бинарников в течение недели и с просьбой отсеять в списке те md5, которые поступили к ним до того как семплы стали нами собираться. Причем всем отсылать даже нет необходимости - достаточно 3-4. Таким образом у нас останутся только новые бинарники. Без участия вендоров, как мне кажется, самостоятельно определить и выкинуть сигнатурники не получится.

Но и тут есть недостатки, которые ставят под сомнение описанный вариант:

1. Каждому вендору придется писать утилиту, которая сверяла бы пришедший список md5 с некой базой, в которой хранятся md5 и дата поступления вредоносных программ к конкретному вендору. Причем такой базы у кого-то может и не быть, или используется не md5, а некий другой алго. То есть вполне возможно, что вендоры откажутся от помощи тестерам.

2. Вендор может целенаправленно просканить своим эвристиком те бинарники, которые у них окажутся из присланного нами списка и пометить как старые семплы все те, где их эвристик молчит.

[dan 10]

Объясните мне, пожалуйста, почему сигнатура не может быть проактивной?

[alexgr 556]

каким образом? если под сигнатуру попадет новый вирь? так это не превентивное обнаружение! более того, при этом вероятность волса весьма высока и процедура лечения будет просто некорректной

[vaber 350]

Объясните мне, пожалуйста, почему сигнатура не может быть проактивной? wink.gif

Сигнатурное влияние необходимо минимизировать, чтобы оно не влияло на результат теста эвристики. Иначе манипулируя старыми образцами малвари можно сделать победителем любой антивирус.

[dan 10]

Сигнатурное влияние необходимо минимизировать, чтобы оно не влияло на результат теста эвристики. Иначе манипулируя старыми образцами малвари можно сделать победителем любой антивирус.

При чём тут старая малвара?

Вот беру я к примеру SdBot, анализирую его. Выбираю сигнатуру из модуля обработки команд, полученных из IRC.

И этой сигнатурой у меня возьмётся десятки тысяч вариантов SdBot и RBot.

Или ваше понятие сигнатуры ограничивается хешом объекта?

[alexgr 556]

а превентивность то где?

[dan 10]

каким образом? если под сигнатуру попадет новый вирь? так это не превентивное обнаружение! более того, при этом вероятность волса весьма высока и процедура лечения будет просто некорректной

Почему не превентивное? Если человек специально выбирал сигнатуру так, чтобы и будущие варианты зацепить?

Что касается вирусов, то современные тренды показывают, что вирут и салити берут на себя 99% "рынка".

А уж против них сигнатуры мало помогают без предварительной обработки файла.

Да и аналитики делающие лечение вирусов как правило весьма профессиональны и учитывают варианты, когда сработали на новой версии вируса и лечение может быть некорректным и обкладывают процедуру лечения большим количеством разнообразных проверок.

а превентивность то где?

Превентивность в том, что любой пионер, скачавший сорцы и скомпилявший их под свои нужды, получит уже заведомо детектирующийся файл.

Тут конечно есть огромное количество вариантов как дальше доточить его до "чистяка", но это уже другой шаг, до которого не каждый пионер дойдёт.

[vaber 350]

При чём тут старая малвара?

Вот беру я к примеру SdBot, анализирую его. Выбираю сигнатуру из модуля обработки команд, полученных из IRC.

И этой сигнатурой у меня возьмётся десятки тысяч вариантов SdBot и RBot.

Или ваше понятие сигнатуры ограничивается хешом объекта?

Да причем тут понятие сигнатуры?? Ясно, что таким образом одна сигнатура может детектировать кучу различных бинарников.

Другое вопрос сколько таких сигнатур сработает на выборке из теста? В коллекцию ведь попадают файлы, которые попали в антивирусные лаборатории до того, как мы начнем отбор семплов для теста. И были добавлены, причем роботом, а не аналитиком. И таких файлов может быть очень много, что напрямую влияет на результат. И как такой результат интерпретировать на качество эвристика?

[alexgr 556]

превентивность вы мне не показали. Увы... Словес много - сути в них мало. Можно одной сигнатурой крыть все семейство- да, есть такое.. А вот как она пригодится для неизвестных угроз? Скажем, сигнатура спамбота как поможет в отражении скажем - шадоу базед? Ответ мне известен, но... или перейти в терминолигию ЛК?

Кстати, тема сигнатурного анализа гораздо шире обсуждаемой здесь. Это вообще то достаточно четкая область знаний....

[dan 10]

Да причем тут понятие сигнатуры?? Ясно, что таким образом одна сигнатура может детектировать кучу различных бинарников.

Другое вопрос сколько таких сигнатур сработает на выборке из теста? В коллекцию ведь попадают файлы, которые попали в антивирусные лаборатории до того, как мы начнем отбор семплов для теста. И были добавлены, причем роботом, а не аналитиком. И таких файлов может быть очень много, что напрямую влияет на результат. И как такой результат интерпретировать на качество эвристика?

Ваша мысль мне понятна и я с этим абсоютно согласен.

Вступил в дискуссию ислючительно потому что меня искренне удивляет что сигнатуры равняют с каким то exact детектированием файла.

И, кстати, правильно обученные роботы тоже могут вполне приличные сигнатуры делать.

[dan 10]

превентивность вы мне не показали. Увы... Словес много - сути в них мало. Можно одной сигнатурой крыть все семейство- да, есть такое.. А вот как она пригодится для неизвестных угроз? Скажем, сигнатура спамбота как поможет в отражении скажем - шадоу базед? Ответ мне известен, но... или перейти в терминолигию ЛК?

Кстати, тема сигнатурного анализа гораздо шире обсуждаемой здесь. Это вообще то достаточно четкая область знаний....

По сути очень напоминает ответы типа: много букв, лень читать, лучше буду дальше гнуть свою линию.

И, кстати, если вы думаете что каждый день пишется огромное количестно абсолютно новых троянов, то ошибаетесь.

Всё что появляется за день на 95+% является вариацией на то, что было вчера. Просто детекты сбивают, да настройки свои внутренние чуток меняют.

[alexgr 556]

вы знаете - я "случайно" об этом знаю. Ну, просто "абсолютно случайно". И так же "случайно" занимался сигнатурным анализом в иной области техники

В ваших словах я не нашел ответа - каким образом сигнатура поможет вам от новой, еще неизвестной угрозы? Я вам даже названия привел...Или скажем, защитит от хорошего полиморфного зловреда?

Или - делаем вашу супер - пупер проактивную сигнатуру и используем ее одну. Зачем столько их качать каждый день?

Кстати, в методологии - для снижения влияния сигнатур на показатели - лучше всего иметь движок с 1 сигнатурой (если без оных совсем нельзя), скажем, под какой - нибудь Багбир... Тогда результаты будут показательными. Только вот откликнуться ли вендоры?

[Umnik 997]

По-моему Денис говорит о том, что сигнатура от первого апреля вполне могла взять вредоноса, выплывшего из рук скрипт-кидди двадцать пятого числа. Если так, то это перекликается с тем, о чем говорил Вячеслав выше.