Результаты теста проактивной антивирусной защиты II - Страница 5 - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Сергей Ильин

Результаты теста проактивной антивирусной защиты II

Recommended Posts

3TE116

Для меня фолсы не проблема и их у меня нет.

А детектом я вполне доволен "В тишине и не в обиде!" - это всеравно,что поселиться в 5-ти звёздочной гостинице.Если антивирус хорошо справляется с вирусами - это уже хорошо.

И если детект на нужном уровне то от этого только плюс.

Да и,как раз насчёт одной функции /Игнорировать или пропустить/ в Авире эта функция странно работает.Если выбрать Игнор,Пропустить,разрешить,то при повторном скане этот самый файл детектит опять.Я так предполагаю,что эти функции просто не работают.

Хотя,например,при детекте не пишется что файл подозревают во вредоносности,а просто пишется некоторое объяснение - я его в принципе не читаю,поэтому не могу сказать,что там пишется.Я привёл это к тому,что бывают иногда случаи такие и встречаются.

А так я своим антивирусом вполне доволен.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww

У меня появилась еще одна мысль, которая сводит данный тест ниже плинтуса, как совершенно неправильно выполненный (и сдается мне, что так оно и есть). Базы были заморожены - это хорошо. Однако, это совсем не означает, что сигнатурного детектирования сэмплов не было даже после заморозки. В итоге, мы получаем то, что некоторые вендоры заведомо детектировали часть сэмплов, если не большую ее часть.

Если подумать о том, что заранее был сигнатурный детект, то объясните мне пожалуйста, где тут тест эвристиков или проактива?

Все смешалось...

Хочу вердикты по всем вендорам, чтобы окончательно приопустить восторги насчет проактивов и эвристиков.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vovan7777

просто,глядя со стороны,тест свелся не к эвристике,а на фолсы. :unsure:

если фолсы во главе-то тогда Нортон -gold.... :rolleyes:

и 10% детекта между ним и касперским тоже вроде и не критично тогда... ;)

я же тоже не говорил давать икарусу -gold,если он будет детектить любые 9 файлов из любых 10 как вирусы,не смотря ,что это за файл.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
просто,глядя со стороны,тест свелся не к эвристике,а на фолсы. unsure.gif

Он был такой изначально еще в 2007 году, только тогда не было проверки на ложные срабатывания.

Однако, это совсем не означает, что сигнатурного детектирования сэмплов не было даже после заморозки.

Чтобы минимизировать влияние сигнатурного детекта мы делали для сбора самплов задержку в 2 недели после заморозки баз. Конечно, дженерики на что-то были у многих, это нормально.

Потом как уже много раз обсуждалось до проведения первого теста и после публикации его результатов, как определить сигнатурный детект? Предположим у DrWeb, зная как там устроена классификация вердиктов тебе это удастся, а у какого-нибудь AVG, Trend Micro или Sophos? Это все вилами на воде писано. Вердикт *.gen может означать как дженерик, так и что угодно еще. Я помню была у нас тут такая тема про классификацию вердиктов, в ней мы пришли, что все это бессмысленно делать.

Именно поэтому я в самом начала и пишу:

В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры) ...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
georgy_n
Однако, это совсем не означает, что сигнатурного детектирования сэмплов не было даже после заморозки

Мысль не уловил :) Все же - "после заморозки" или более правильно читать "до заморозки"?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Чтобы минимизировать влияние сигнатурного детекта мы делали для сбора самплов задержку в 2 недели после заморозки баз. Конечно, дженерики на что-то были у многих, это нормально.

Потом как уже много раз обсуждалось до проведения первого теста и после публикации его результатов, как определить сигнатурный детект? Предположим у DrWeb, зная как там устроена классификация вердиктов тебе это удастся, а у какого-нибудь AVG, Trend Micro или Sophos? Это все вилами на воде писано. Вердикт *.gen может означать как дженерик, так и что угодно еще. Я помню была у нас тут такая тема про классификацию вердиктов, в ней мы пришли, что все это бессмысленно делать.

Эта задержка не помогает, как мне кажется. Дженерики - это хорошо, да они должны быть, но вот тупой сигнатуры быть не должно. Во всяком случае, надо минимизировать ее присутствие. Настройками сигнатуры не отключишь, а жаль.

Поехали дальше. Согласен, что определить по имени что это такое - не получится, даже у ДрВеб :)

В этом тесте мы будем сравнивать только эвристические компоненты антивирусной защиты (эвристики + generic-детект, т.е. расширенные сигнатуры) ...

Это не расширенные сигнатуры, это тупые, обычные сигнатуры. Они не должны влиять на результат. Я заранее могу предсказать по нескольким вендорам, кто слетить нахрен вниз, если убрать обычные сигнатуры, а кто останется, потому что у них есть эвристик, а не жалкое его подобие.

Вот взять и выкинуть 50% детекта, думаю вы все "объсмеетесь" с результатов.

Так что насчет вердиктов?

Мысль не уловил :) Все же - "после заморозки" или более правильно читать "до заморозки"?

Базы заморожены, время идет, а сигнатурный детект есть. А читать можно как угодно :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Так что насчет вердиктов?

Постараюсь сделать статистику по некоторым вендорам. На память помню кое-что, было очень много таких вердиктов:

У Касперского - HEUR:Trojan и HEUR:Downloader

У DrWeb - *.origin и "Возможно ..."

У Eset - "Probably ..."

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Постараюсь сделать статистику по некоторым вендорам. На память помню кое-что, было очень много таких вердиктов:

У Касперского - HEUR:Trojan и HEUR:Downloader

У DrWeb - *.origin и "Возможно ..."

У Eset - "Probably ..."

Packed (pack, genpack, etc...) в имени. Это все как бы дженерики, они из разряда "недо-эвристики". Но, если есть Ос.Trojan.Имя.номер.подномер, то это уже совсем не эвристика. Это обыкновенный сигнатурный детект.

Это я вообще все к тому, чтобы следующий тест был лучше, чтобы учли все проблемы с чистыми файлами и сигнатурным детектом, иначе несолидно :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег Гудилин

А вот синьюс в этот раз молодцы - четко с первого предложения написали, что это тест ЭВРИСТИКИ

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SBond

Очень чувствую себя виноватым, тем, что своим высказыванием невольно увеличил кол-во споров...

Очень хотелось бы, чтобы администрация дала формулировку, что такое проактивная защита, а что такое эвристика, в чем у них разница...

Попытаюсь сделать некоторые формулировки сам, пользуясь различными источниками.

Что такое эвристика - это слово от греческого heurisko - нахожу.

Эвристика - Совокупность логических приемов и методических правил теоретического исследования и отыскания возможной истины, а также совокупность исследовательских методов, способствующих обнаружению ранее неизвестного. Т.е. В любом случае, это метод теоретического исследования. И говоря строго, применительно к антивирусам, это анализ кода по нескольким заданным показателям и заключение об их опасности или безвредности приложения.

Что такое HIPS - Host Intrusion Prevention System, дословно - система предотвращения вторжения в компьютер.

И говоря проще, это превентивная защита ПК.

Что такое Превентивная защита - Защита имеющая целью предупредить нападение готовящегося к войне противника.

HIPS в основе своей является в первую очередь как программа с превентивными анализами, основанные на системе проактивной защиты ПК от любых видов угроз, базирующейся на анализе поведения компонентов системы. По сути - это поведенческие анализаторы, которые по определенным признакам, характерным для вредоносных объектов (вернее - нехарактерным для обычных объектов), предотвращают атаку и нежелательные действия в системе, без разделения на предотвращения вторжения из сети или внутренние деструктивные действия и тд.

---------------------

Сейчас в нынешнее время очень трудно судить, какой файл чист, а какой имеет возможный вредоносный характер, и неизвестно, что хуже, программа имеющая полное доверие и разрушающая защиту компьютера невольно, или это деструктивные действие откровенного вируса.

Помните какие скандалы и споры появились после обнаружения первых руткитов, и самое главное, какую не состоятельность мы увидели, у антивирусов, и их эвристических анализаторов...

Вот и вся их эвристика, вот поэтому в новых версиях Windows компания MS серьезно отнеслась к проактивной защите...

Кстати про фолсы, где гарантия, что те "чистые" программы, которые были у администрации, являются с уверенностью на 100% ими?

ИМХО - В любом случае, этот тест, тогда надо было прямо назвать - тест Эвристики. :unsure:

--------------------

Источники :)

Большое спасибо хотелось бы выразить Виталию Я, за поддержку.

Большое спасибо за свои высказывания, SWW, очень по делу, и в точку...

Большое спасибо также vovan7777 хорошее мышление, с эвристикой у вас все в порядке :lol:

Отдельное спасибо, администрации, в частности Сергею Ильину, за его ответы, и еще раз большое спасибо за проведенные тесты.

А так же, большое спасибо, всем участникам этой темы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
TANUKI
Режет глаз конечно у Авиры 71% детект,а у Фсекуре 43% и обоим серебро.... ;)

Не стоит так нервничать и переживать :)

Уверен, что каждый пользователь, который интересуется этой темой более глубоко, чем просто подсчет "попугаев" сделает для себя правильный вывод :) Лично я доволен результатом Авиры и считаю, что лучше классически перепдеть, чем недобдеть, но в рамках разумного, конечно (а не как у Софоса :)) А золото, платина или переходящее красное знамя с вымпелом... Разве в этом суть теста? :) главное результат и вы его получили :) За что спасибо всем, кто потратил сове время и знания на это исследование!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vovan7777
Лично я доволен результатом Авиры и считаю, что лучше классически перепдеть, чем недобдеть, но в рамках разумного, конечно (а не как у Софоса

Я вообще с фолсами не сталкивался как то...

После установки XP SP2 (в октябре SP3) ,я поставил на ПК только:

ПО Офис- для работы.

для просмотра фото: ACDSee 10

для видео: K-Lite Codec Mega

для чистки системы: ccleaner и TuneUP Utilities 2008,WinTools,JV16 Power Tools

для защиты: Авира,Comodo 3 и avz,hijack this

архиватор: WinRAR

для инет тв: SopCast и TV ants

для конвертации медиа и аудиофайлов и их редактирования:Total Video Convector

Также присутствуют ,так как необходимы: Webmoney,Adobe Reader 8 ,AnVir Task manager,Real Player.,ICQ6(год не пользовался уже)

Вот и весь набор необходимый для нормальной работы в сети и с файлами.

Авира по этим программам не фолсила и не ругалась.

Все они скачены на сайтах производителей,а некоторые еще и проверенны (не поленился и отправил в авиру и лк файлы)

Больше у меня нет программ на домашнем пк никаких...вот поэтому я может и не понимаю до конца о чем речь и ,что "авира много фолсит". :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Как вариант проблему с сигнатурным детектом в подобном тесте можно попробовать решить рассылкой вендорам списка md5 собранных бинарников в течение недели и с просьбой отсеять в списке те md5, которые поступили к ним до того как семплы стали нами собираться. Причем всем отсылать даже нет необходимости - достаточно 3-4. Таким образом у нас останутся только новые бинарники. Без участия вендоров, как мне кажется, самостоятельно определить и выкинуть сигнатурники не получится.

Но и тут есть недостатки, которые ставят под сомнение описанный вариант:

1. Каждому вендору придется писать утилиту, которая сверяла бы пришедший список md5 с некой базой, в которой хранятся md5 и дата поступления вредоносных программ к конкретному вендору. Причем такой базы у кого-то может и не быть, или используется не md5, а некий другой алго. То есть вполне возможно, что вендоры откажутся от помощи тестерам.

2. Вендор может целенаправленно просканить своим эвристиком те бинарники, которые у них окажутся из присланного нами списка и пометить как старые семплы все те, где их эвристик молчит.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan

Объясните мне, пожалуйста, почему сигнатура не может быть проактивной? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

каким образом? если под сигнатуру попадет новый вирь? так это не превентивное обнаружение! более того, при этом вероятность волса весьма высока и процедура лечения будет просто некорректной

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Объясните мне, пожалуйста, почему сигнатура не может быть проактивной? wink.gif

Сигнатурное влияние необходимо минимизировать, чтобы оно не влияло на результат теста эвристики. Иначе манипулируя старыми образцами малвари можно сделать победителем любой антивирус.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
Сигнатурное влияние необходимо минимизировать, чтобы оно не влияло на результат теста эвристики. Иначе манипулируя старыми образцами малвари можно сделать победителем любой антивирус.

При чём тут старая малвара?

Вот беру я к примеру SdBot, анализирую его. Выбираю сигнатуру из модуля обработки команд, полученных из IRC.

И этой сигнатурой у меня возьмётся десятки тысяч вариантов SdBot и RBot.

Или ваше понятие сигнатуры ограничивается хешом объекта?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

а превентивность то где?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
каким образом? если под сигнатуру попадет новый вирь? так это не превентивное обнаружение! более того, при этом вероятность волса весьма высока и процедура лечения будет просто некорректной

Почему не превентивное? Если человек специально выбирал сигнатуру так, чтобы и будущие варианты зацепить?

Что касается вирусов, то современные тренды показывают, что вирут и салити берут на себя 99% "рынка".

А уж против них сигнатуры мало помогают без предварительной обработки файла.

Да и аналитики делающие лечение вирусов как правило весьма профессиональны и учитывают варианты, когда сработали на новой версии вируса и лечение может быть некорректным и обкладывают процедуру лечения большим количеством разнообразных проверок.

а превентивность то где?

Превентивность в том, что любой пионер, скачавший сорцы и скомпилявший их под свои нужды, получит уже заведомо детектирующийся файл.

Тут конечно есть огромное количество вариантов как дальше доточить его до "чистяка", но это уже другой шаг, до которого не каждый пионер дойдёт.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
При чём тут старая малвара?

Вот беру я к примеру SdBot, анализирую его. Выбираю сигнатуру из модуля обработки команд, полученных из IRC.

И этой сигнатурой у меня возьмётся десятки тысяч вариантов SdBot и RBot.

Или ваше понятие сигнатуры ограничивается хешом объекта?

Да причем тут понятие сигнатуры?? Ясно, что таким образом одна сигнатура может детектировать кучу различных бинарников.

Другое вопрос сколько таких сигнатур сработает на выборке из теста? В коллекцию ведь попадают файлы, которые попали в антивирусные лаборатории до того, как мы начнем отбор семплов для теста. И были добавлены, причем роботом, а не аналитиком. И таких файлов может быть очень много, что напрямую влияет на результат. И как такой результат интерпретировать на качество эвристика?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

превентивность вы мне не показали. Увы... Словес много - сути в них мало. Можно одной сигнатурой крыть все семейство- да, есть такое.. А вот как она пригодится для неизвестных угроз? Скажем, сигнатура спамбота как поможет в отражении скажем - шадоу базед? Ответ мне известен, но... или перейти в терминолигию ЛК?

Кстати, тема сигнатурного анализа гораздо шире обсуждаемой здесь. Это вообще то достаточно четкая область знаний....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
Да причем тут понятие сигнатуры?? Ясно, что таким образом одна сигнатура может детектировать кучу различных бинарников.

Другое вопрос сколько таких сигнатур сработает на выборке из теста? В коллекцию ведь попадают файлы, которые попали в антивирусные лаборатории до того, как мы начнем отбор семплов для теста. И были добавлены, причем роботом, а не аналитиком. И таких файлов может быть очень много, что напрямую влияет на результат. И как такой результат интерпретировать на качество эвристика?

Ваша мысль мне понятна и я с этим абсоютно согласен.

Вступил в дискуссию ислючительно потому что меня искренне удивляет что сигнатуры равняют с каким то exact детектированием файла.

И, кстати, правильно обученные роботы тоже могут вполне приличные сигнатуры делать.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
dan
превентивность вы мне не показали. Увы... Словес много - сути в них мало. Можно одной сигнатурой крыть все семейство- да, есть такое.. А вот как она пригодится для неизвестных угроз? Скажем, сигнатура спамбота как поможет в отражении скажем - шадоу базед? Ответ мне известен, но... или перейти в терминолигию ЛК?

Кстати, тема сигнатурного анализа гораздо шире обсуждаемой здесь. Это вообще то достаточно четкая область знаний....

По сути очень напоминает ответы типа: много букв, лень читать, лучше буду дальше гнуть свою линию.

И, кстати, если вы думаете что каждый день пишется огромное количестно абсолютно новых троянов, то ошибаетесь.

Всё что появляется за день на 95+% является вариацией на то, что было вчера. Просто детекты сбивают, да настройки свои внутренние чуток меняют.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr

вы знаете - я "случайно" об этом знаю. Ну, просто "абсолютно случайно". И так же "случайно" занимался сигнатурным анализом в иной области техники :D

В ваших словах я не нашел ответа - каким образом сигнатура поможет вам от новой, еще неизвестной угрозы? Я вам даже названия привел...Или скажем, защитит от хорошего полиморфного зловреда?

Или - делаем вашу супер - пупер проактивную сигнатуру и используем ее одну. Зачем столько их качать каждый день?

Кстати, в методологии - для снижения влияния сигнатур на показатели - лучше всего иметь движок с 1 сигнатурой (если без оных совсем нельзя), скажем, под какой - нибудь Багбир... Тогда результаты будут показательными. Только вот откликнуться ли вендоры?

  • Downvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

По-моему Денис говорит о том, что сигнатура от первого апреля вполне могла взять вредоноса, выплывшего из рук скрипт-кидди двадцать пятого числа. Если так, то это перекликается с тем, о чем говорил Вячеслав выше.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×