Retrospective/ProActive Test May 2008 and KIS v8 (proactive test)

[Олег Гудилин 95]

Cегодня, фактически одновременно вышли 2 теста av-comparatives.org:

-Retrospective/ProActive Test http://www.av-comparatives.org/seiten/erge...se/report18.pdf

и

-Kaspersky Internet Security v8 (proactive test) http://www.av-comparatives.org/seiten/ergebnisse/KIS8.pdf

К сожалению Андреас так и не сделал общего теста на проактивную защиту и продолжает в своих стандартных отчетах ограничиваться ретроспективными тестами на эвристику. Поведенческие методы защиты остаются за бортом и судя по его отчету он планирует начать их тестирование только в 2009м году.

В итоге мы получили, то что мы получили - возможности проактивной защиты снова будут оцениваться исключительно по этому тесту эвристиков. Ретроспективные результаты KAV 7.0 прямо скажем не впечетляют и это будет прекрасным поводом для гнобления со стороны конкурентов.

Все что возможно в этой ситуации сделать - протестировать все проактивные механизмы обнаружения наших продуктов в отдельном тесте, но на той же коллекции зловредов, что и вобщем тесте. Семерку тестировать уже бесполезно - дали восьмерку (2009).

Результат таков:

- по эвристику это уже не 21% детекта как у семерки, а 42%.

- модуль контроля приложений автоматически заблокировал 68% зловредов из тестового набора, присвоив им рейтинг опасности 100. К слову сказать у NOD32 его эвристик взял 57%.

- модуль Проактивная защита (PDM), который есть не только восьмерке, но и в версиях 6/7, к сожалению отдельно не тестировался.

P/S Результат Sophosa с максимальными настройками очень интересен - лучший детект, но огромное количество фолсов.

[Deja_Vu 366]

Как понимаю контроль приложений использовался с заране задаными настройками вендора или перед тестом еще что-то донастраивалось?

[Иван 290]

Как понимаю контроль приложений использовался с заране задаными настройками вендора или перед тестом еще что-то донастраивалось?

а какая разница, автоматически блочатся тока недоверенные приложения, а они блочатся хоть в каком режиме киса

[Олег777 85]

Ну что можно сказать: налицо явный прогресс. Всё-таки, результаты 8-ки превосходят 7-ку. Это внушает оптимизм!

[Kokunov Aleksey 20]

а какая разница, автоматически блочатся тока недоверенные приложения, а они блочатся хоть в каком режиме киса

Несовсем так - автоматически блочатся приложения, получившие 100 баллов при анализе... (ну и конечно же те, которые заложили в базу разработчики).

Анализ производится на базе технологий от АВЗ

[Иван 290]

Несовсем так - автоматически блочатся приложения, получившие 100 баллов при анализе... (ну и конечно же те, которые заложили в базу разработчики).

Анализ производится на базе технологий от АВЗ

ну окей, но сути это не меняет - там написано, что две трети вирья из коллекции блочатся автоматически

при этом базы не обновлены

[Umnik 997]

И добавлено (уже на форуме ЛК), что блочились они не по базе недоверенных, а по честному рейтингу.

[Deja_Vu 366]

И добавлено (уже на форуме ЛК), что блочились они не по базе недоверенных, а по честному рейтингу.

Тогда результаты меня впечатлили -))

Отредактировал Июнь 6, 2008 Umnik
убрал колорирование

[Olegka-2007 0]

Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

[0xFEE1C001 30]

Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

Подумаешь вирус! Зачем его обнаруживать, пусть почтовый сервер пересылает его пользователям. Например пользователям mail.ru, вдруг повезет.

[Иван 290]

Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

Подумаешь вирус! Зачем его обнаруживать, пусть почтовый сервер пересылает его пользователям. Например пользователям mail.ru, вдруг повезет.

о вы придумали отмазку но она гнилая - придумайте новую

да лежащими на диске было бы обнаружено не 68%, а 42%. но заражения бы вирусами что попали в эту разницу не произошло, т.к. запуститься они смогли бы. а раз они запуститься не смогли бы - то как они простите занимались самораспространением по пользователям mail.ru?

идите думать над аргументами дальше мои юные друзья

[zanuda 35]

-Kaspersky Internet Security v8 (proactive test) http://www.av-comparatives.org/seiten/ergebnisse/KIS8.pdf

К сожалению, не увидел результатов доп.тестирования по всем пунктам, почему так скромно?

В итоге мы получили, то что мы получили - возможности проактивной защиты снова будут оцениваться исключительно по этому тесту эвристиков.

А давайте разработаем нормальню методику теста проактивной защиты?

И будем использовать ее здесь и пошлем коллегам, ведь нам не жалко?

Вот меня интересует, ловля тараканов а ля pinch, борьба с флешками блохастами, ну конечно эксплойты на броузеры...

Ну черви классические, почтовые...

Сделаем образцы тестов. И будем тестировать всех, так чтобы воспроизводимо было читателем :-)

Ретроспективные результаты KAV 7.0 прямо скажем не впечетляют и это будет прекрасным поводом для гнобления со стороны конкурентов.

Ну что Вы грустите по поводу конкурентов? Может стоит сосредоточить внимание на совершенствовании продукта? Ведь ничего сверхсложного не нужно :-)

[Olegka-2007 0]

да лежащими на диске было бы обнаружено не 68%, а 42%.

Получается это и есть проактивка? Просто я не понимаю разницы между проактивной защитой и ХИПС. Почему в тесте пишут, что 68% заблокировано ХИПС? Получается, что PDM их не заблокировала.

p.s. простите если туплю, но просто очень хочется понять сей механизм

[Иван 290]

если очень упрощенно и без влезания в эти термины хипс не хипс, то в KIS2009 есть по большому счету три компонента проактивной защиты (защиты от вирья, которого нет в сигнатурах)

1.есть эмулятор, ну или как это обозначено в интерфейсе Эвристический анализ, назови его как хочешь - он обнаруживает зловредов и на лету и просто при тупом сканировании диска по требованию

2. есть модуль Проактивной защиты (PDM), который по поведению запущенного приложения может определить его вредоносность и заблокировать его действия. Это работает только на запущенных приложениях и к сканированию диска по требованию никакого отношения не имеет

3.есть Фильтрация активности приложений - также работает только если вредоноса запустить, при запуске приложения специальными эвристикам оценивается индекс опасности, зловред как правило будет иметь высокий индекс опасности и будет в связи с этим отнесен к недовренным приложениям или к приложениям с сильными ограничениями - в результате его вредоносоные попытки чего-то предпринять в системе будут блокироваться

последние 2 метода, али только последний один метод можно обзывать хипсом если сильно охота в термины лезть

таким образом Клементий говорит - 68% вредонсов при запуске было заблокировано HIPS (Aplication control). В интерфейсе в Контроль приложений входит и PDM и Фильтрация активности. Так что: чем там оно заблокировано конкретно я бы не взялся судить по его отчету.

мои предположения:

- 42% зловредов было поймано пунктом 1 (Эвристический анализ) при сканировании по требованию

- 68% было поймано пунктами 2 и 3 при запуске зловредов

одно могу сказать точно - такого сочетания трех компонент проактивной защиты вряд ли вы найдете у кого еще

ну да конечно доки и гуру укажут мне что я все неправильно объяснил, но дорогие мои на простейшем уровне все так и есть

[Olegka-2007 0]

<...> ну да конечно доки и гуру укажут мне что я все неправильно объяснил, но дорогие мои на простейшем уровне все так и есть

ну на то они и гуру Большое спасибо за разъяснение. Теперь стало понятно!!!

[bse 115]

Пожалуйста, найдите ошибки в моих рассуждениях (все термины можно найти на wiki).

Выражения - синонимы: эвристический анализ (ЭА) = проактивная защита (ПЗ).

Состав ЭА = ПЗ:

1. Эмулятор, с исходными данными на сигнатурных отпечатках. Принято называть "эвристикой" (почему?).

2. Поведенческий блокиратор. Принято называть "проактивной защитой" или ее модулем (почему?).

3. ЭА = ПЗ, основанная на анализе степени угрозы от "чистого" кода программы (не реализован никем).

HIPS не имеет никаких "специальных" эвристик. Он использует комбинации имеющихся.

Например, в ЛК предложен следующий алгоритм его реализации в КИС 2009

(http://virusinfo.info/showthread.php?t=23758):

цитата DVi:

"Это выглядит примерно так:

1. KIS детектирует запуск файла и проверяет наличие цифровой подписи,

2. если подписи нет, то проверяет по белому списку

3. если в белом списке нет, то проверяет по антивирусным базам,

4. если там нету, тогда пропускает через эмуляцию и вычисляет рейтинг опасности

5. На основании всех этих проверок заносит в определенную группу.

Белый список - это база доверенных приложений ЛК..."

Иными словами:

пп. 1-2-3 вообще не эвристика.

п. 4 - две части эвристического анализа или проактивной защиты: сигнатурная эвристика - эмуляция (DVi - "эмуляцию") + поведенческий блокиратор (DVi - "вычисляет рейтинг опасности").

Итого, 68% - это максимум всей эвристики в КИС 2009.

[Иван 290]

эвристический анализ (ЭА) НЕ= проактивная защита (ПЗ).

поведенческий блокиратор (модуль Проактивная защита) никакого отношения к вычислению индекса опасности не имеет

при вычислении индекса опасности кроме кроме стандартного эмулятора касперского применяются эвристики AVZ

68% это максимум ПЗ в КИС 2009 - ну наверное да...

[alexgr 556]

Итого, 68% - это максимум всей эвристики в КИС 2009.

Если даже согласиться с этой цифрой - на достаточно хороша для НЕСИГНАТУРНОГО обнаружения. Очень приличная величина!

[Olegka-2007 0]

Если даже согласиться с этой цифрой - на достаточно хороша для НЕСИГНАТУРНОГО обнаружения. Очень приличная величина!

Но ведь получается, что для этого надо вирус запустить. А это нехорошо. Мне кажется, что касперу надо "усилить" эвристик. Авира при проверку взяла 70 с лишним. В прошлом году у Каспера было 35%, в этом 42%. Может тогда лучше купить ее эвристик, если свой пока в разработке?

[bse 115]

Большое спасибо. Я не комментирую цифру в 68%, как низкую или высокую. Просто у меня создалось впечатление,

Результат таков:

- по эвристику это уже не 21% детекта как у семерки, а 42%.

- модуль контроля приложений автоматически заблокировал 68% зловредов из тестового набора, присвоив им рейтинг опасности 100. К слову сказать у NOD32 его эвристик взял 57%.

- модуль Проактивная защита (PDM), который есть не только восьмерке, но и в версиях 6/7, к сожалению отдельно не тестировался.

что третий пункт этой фразы предполагает еще некий прирост результатов.

при вычислении индекса опасности кроме кроме стандартного эмулятора касперского применяются эвристики AVZ

ИМХО, если AVZ интегрирована в КИС "по обоюдному согласию" и общий продукт имеет название КИС 2009, то их можно уже и не упоминать по отдельности?

Мне кажется, что касперу надо "усилить" эвристик. Авира при проверку взяла 70 с лишним. В прошлом году у Каспера было 35%, в этом 42%. Может тогда лучше купить ее эвристик, если свой пока в разработке?

ИМХО, им (ЛК) и самим это кажется, вернее, они это знают. Да только не получается. Если бы у КИС результат был бы хотя бы как у "изгоя", они (ЛК) не стали бы заморачиваться с хипсами и белыми списками. А так иного выхода нет. Про "купить" - не знаю.

[Иван 290]

ИМХО, им (ЛК) и самим это кажется, вернее, они это знают. Да только не получается. Если бы у КИС результат был бы хотя бы как у "изгоя", они (ЛК) не стали бы заморачиваться с хипсами и белыми списками.

хипс это один из трендов развития индустрии, я не согласен с тем что им "заморочились" только лишь из-за того что эмулятор не дотягивает до чьего-то уровня

[bse 115]

хипс это один из трендов развития индустрии, я не согласен с тем что им "заморочились" только лишь из-за того что эмулятор не дотягивает до чьего-то уровня

т.е. это общий дополнительный перспективный резерв в достижении общего более высокого результата?

[Olegka-2007 0]

Я все о своем - Олег Зайцев же разработал AVZ, ведь она содержит очень неплохой анализатор. Так почему ЛК не сделать ОСНОВНОЙ эмулятор на основе технологий AVZ?

[Umnik 997]

Вставлю свое, никому не нужное слово. Защита бывает реактивной и проактивной. Так что эмуль - это не второе название проактивки, а одно его разновидностей.

[bse 115]

Я тоже - о своем. Следует ли понимать, что эвристика на современном этапе достигла своего вероятностно-прогнозируемого максимума? И иной альтернативы, кроме поведенческих блокираторов, нет?

ЗЫ. Мне более по духу прорыв в эвристике и обновления баз раз в неделю, чем сомнительный хипс и сомнительная гордость ежечасными обновлениями. Мы же говорим о защите, а не о ликвидации последствий в ее дырах?