Перейти к содержанию
Олег Гудилин

Retrospective/ProActive Test May 2008 and KIS v8 (proactive test)

Recommended Posts

Олег Гудилин

Cегодня, фактически одновременно вышли 2 теста av-comparatives.org:

-Retrospective/ProActive Test http://www.av-comparatives.org/seiten/erge...se/report18.pdf

и

-Kaspersky Internet Security v8 (proactive test) http://www.av-comparatives.org/seiten/ergebnisse/KIS8.pdf

К сожалению Андреас так и не сделал общего теста на проактивную защиту и продолжает в своих стандартных отчетах ограничиваться ретроспективными тестами на эвристику. Поведенческие методы защиты остаются за бортом и судя по его отчету он планирует начать их тестирование только в 2009м году.

В итоге мы получили, то что мы получили - возможности проактивной защиты снова будут оцениваться исключительно по этому тесту эвристиков. Ретроспективные результаты KAV 7.0 прямо скажем не впечетляют и это будет прекрасным поводом для гнобления со стороны конкурентов.

Все что возможно в этой ситуации сделать - протестировать все проактивные механизмы обнаружения наших продуктов в отдельном тесте, но на той же коллекции зловредов, что и вобщем тесте. Семерку тестировать уже бесполезно - дали восьмерку (2009).

Результат таков:

- по эвристику это уже не 21% детекта как у семерки, а 42%.

- модуль контроля приложений автоматически заблокировал 68% зловредов из тестового набора, присвоив им рейтинг опасности 100. К слову сказать у NOD32 его эвристик взял 57%.

- модуль Проактивная защита (PDM), который есть не только восьмерке, но и в версиях 6/7, к сожалению отдельно не тестировался.

P/S Результат Sophosa с максимальными настройками очень интересен - лучший детект, но огромное количество фолсов.

result.png

result2.png

false.png

post-1330-1212326972_thumb.png

post-1330-1212326983_thumb.png

post-1330-1212327444_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Как понимаю контроль приложений использовался с заране задаными настройками вендора или перед тестом еще что-то донастраивалось?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Как понимаю контроль приложений использовался с заране задаными настройками вендора или перед тестом еще что-то донастраивалось?

а какая разница, автоматически блочатся тока недоверенные приложения, а они блочатся хоть в каком режиме киса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег777

Ну что можно сказать: налицо явный прогресс. Всё-таки, результаты 8-ки превосходят 7-ку. Это внушает оптимизм! :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kokunov Aleksey
а какая разница, автоматически блочатся тока недоверенные приложения, а они блочатся хоть в каком режиме киса

Несовсем так - автоматически блочатся приложения, получившие 100 баллов при анализе... (ну и конечно же те, которые заложили в базу разработчики).

Анализ производится на базе технологий от АВЗ

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Несовсем так - автоматически блочатся приложения, получившие 100 баллов при анализе... (ну и конечно же те, которые заложили в базу разработчики).

Анализ производится на базе технологий от АВЗ

ну окей, но сути это не меняет - там написано, что две трети вирья из коллекции блочатся автоматически

при этом базы не обновлены

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

И добавлено (уже на форуме ЛК), что блочились они не по базе недоверенных, а по честному рейтингу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
И добавлено (уже на форуме ЛК), что блочились они не по базе недоверенных, а по честному рейтингу.

Тогда результаты меня впечатлили -))

Отредактировал Umnik
убрал колорирование

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007

Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
0xFEE1C001
Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

Подумаешь вирус! Зачем его обнаруживать, пусть почтовый сервер пересылает его пользователям. Например пользователям mail.ru, вдруг повезет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?
Подумаешь вирус! Зачем его обнаруживать, пусть почтовый сервер пересылает его пользователям. Например пользователям mail.ru, вдруг повезет.

о вы придумали отмазку:) но она гнилая - придумайте новую

да лежащими на диске было бы обнаружено не 68%, а 42%. но заражения бы вирусами что попали в эту разницу не произошло, т.к. запуститься они смогли бы. а раз они запуститься не смогли бы - то как они простите занимались самораспространением по пользователям mail.ru?

идите думать над аргументами дальше мои юные друзья

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zanuda
-Kaspersky Internet Security v8 (proactive test) http://www.av-comparatives.org/seiten/ergebnisse/KIS8.pdf

К сожалению, не увидел результатов доп.тестирования по всем пунктам, почему так скромно?

В итоге мы получили, то что мы получили - возможности проактивной защиты снова будут оцениваться исключительно по этому тесту эвристиков.

А давайте разработаем нормальню методику теста проактивной защиты?

И будем использовать ее здесь и пошлем коллегам, ведь нам не жалко?

Вот меня интересует, ловля тараканов а ля pinch, борьба с флешками блохастами, ну конечно эксплойты на броузеры...

Ну черви классические, почтовые...

Сделаем образцы тестов. И будем тестировать всех, так чтобы воспроизводимо было читателем :-)

Ретроспективные результаты KAV 7.0 прямо скажем не впечетляют и это будет прекрасным поводом для гнобления со стороны конкурентов.

Ну что Вы грустите по поводу конкурентов? Может стоит сосредоточить внимание на совершенствовании продукта? Ведь ничего сверхсложного не нужно :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
да лежащими на диске было бы обнаружено не 68%, а 42%.

Получается это и есть проактивка? Просто я не понимаю разницы между проактивной защитой и ХИПС. Почему в тесте пишут, что 68% заблокировано ХИПС? Получается, что PDM их не заблокировала.

p.s. простите если туплю, но просто очень хочется понять сей механизм

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

если очень упрощенно и без влезания в эти термины хипс не хипс, то в KIS2009 есть по большому счету три компонента проактивной защиты (защиты от вирья, которого нет в сигнатурах)

1.есть эмулятор, ну или как это обозначено в интерфейсе Эвристический анализ, назови его как хочешь - он обнаруживает зловредов и на лету и просто при тупом сканировании диска по требованию

2. есть модуль Проактивной защиты (PDM), который по поведению запущенного приложения может определить его вредоносность и заблокировать его действия. Это работает только на запущенных приложениях и к сканированию диска по требованию никакого отношения не имеет

3.есть Фильтрация активности приложений - также работает только если вредоноса запустить, при запуске приложения специальными эвристикам оценивается индекс опасности, зловред как правило будет иметь высокий индекс опасности и будет в связи с этим отнесен к недовренным приложениям или к приложениям с сильными ограничениями - в результате его вредоносоные попытки чего-то предпринять в системе будут блокироваться

последние 2 метода, али только последний один метод можно обзывать хипсом если сильно охота в термины лезть

таким образом Клементий говорит - 68% вредонсов при запуске было заблокировано HIPS (Aplication control). В интерфейсе в Контроль приложений входит и PDM и Фильтрация активности. Так что: чем там оно заблокировано конкретно я бы не взялся судить по его отчету.

мои предположения:

- 42% зловредов было поймано пунктом 1 (Эвристический анализ) при сканировании по требованию

- 68% было поймано пунктами 2 и 3 при запуске зловредов

одно могу сказать точно - такого сочетания трех компонент проактивной защиты вряд ли вы найдете у кого еще

ну да конечно доки и гуру укажут мне что я все неправильно объяснил, но дорогие мои на простейшем уровне все так и есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
<...> ну да конечно доки и гуру укажут мне что я все неправильно объяснил, но дорогие мои на простейшем уровне все так и есть

ну на то они и гуру:) Большое спасибо за разъяснение. Теперь стало понятно!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Пожалуйста, найдите ошибки в моих рассуждениях (все термины можно найти на wiki).

Выражения - синонимы: эвристический анализ (ЭА) = проактивная защита (ПЗ).

Состав ЭА = ПЗ:

1. Эмулятор, с исходными данными на сигнатурных отпечатках. Принято называть "эвристикой" (почему?).

2. Поведенческий блокиратор. Принято называть "проактивной защитой" или ее модулем (почему?).

3. ЭА = ПЗ, основанная на анализе степени угрозы от "чистого" кода программы (не реализован никем).

HIPS не имеет никаких "специальных" эвристик. Он использует комбинации имеющихся.

Например, в ЛК предложен следующий алгоритм его реализации в КИС 2009

(http://virusinfo.info/showthread.php?t=23758):

цитата DVi:

"Это выглядит примерно так:

1. KIS детектирует запуск файла и проверяет наличие цифровой подписи,

2. если подписи нет, то проверяет по белому списку

3. если в белом списке нет, то проверяет по антивирусным базам,

4. если там нету, тогда пропускает через эмуляцию и вычисляет рейтинг опасности

5. На основании всех этих проверок заносит в определенную группу.

Белый список - это база доверенных приложений ЛК..."

Иными словами:

пп. 1-2-3 вообще не эвристика.

п. 4 - две части эвристического анализа или проактивной защиты: сигнатурная эвристика - эмуляция (DVi - "эмуляцию") + поведенческий блокиратор (DVi - "вычисляет рейтинг опасности").

Итого, 68% - это максимум всей эвристики в КИС 2009.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

эвристический анализ (ЭА) НЕ= проактивная защита (ПЗ).

поведенческий блокиратор (модуль Проактивная защита) никакого отношения к вычислению индекса опасности не имеет

при вычислении индекса опасности кроме кроме стандартного эмулятора касперского применяются эвристики AVZ

68% это максимум ПЗ в КИС 2009 - ну наверное да...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Итого, 68% - это максимум всей эвристики в КИС 2009.

Если даже согласиться с этой цифрой - на достаточно хороша для НЕСИГНАТУРНОГО обнаружения. Очень приличная величина!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Если даже согласиться с этой цифрой - на достаточно хороша для НЕСИГНАТУРНОГО обнаружения. Очень приличная величина!

Но ведь получается, что для этого надо вирус запустить. А это нехорошо. Мне кажется, что касперу надо "усилить" эвристик. Авира при проверку взяла 70 с лишним. В прошлом году у Каспера было 35%, в этом 42%. Может тогда лучше купить ее эвристик, если свой пока в разработке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Большое спасибо. Я не комментирую цифру в 68%, как низкую или высокую. Просто у меня создалось впечатление,

Результат таков:

- по эвристику это уже не 21% детекта как у семерки, а 42%.

- модуль контроля приложений автоматически заблокировал 68% зловредов из тестового набора, присвоив им рейтинг опасности 100. К слову сказать у NOD32 его эвристик взял 57%.

- модуль Проактивная защита (PDM), который есть не только восьмерке, но и в версиях 6/7, к сожалению отдельно не тестировался.

что третий пункт этой фразы предполагает еще некий прирост результатов.
при вычислении индекса опасности кроме кроме стандартного эмулятора касперского применяются эвристики AVZ
ИМХО, если AVZ интегрирована в КИС "по обоюдному согласию" и общий продукт имеет название КИС 2009, то их можно уже и не упоминать по отдельности?
Мне кажется, что касперу надо "усилить" эвристик. Авира при проверку взяла 70 с лишним. В прошлом году у Каспера было 35%, в этом 42%. Может тогда лучше купить ее эвристик, если свой пока в разработке?
ИМХО, им (ЛК) и самим это кажется, вернее, они это знают. Да только не получается. Если бы у КИС результат был бы хотя бы как у "изгоя", они (ЛК) не стали бы заморачиваться с хипсами и белыми списками. А так иного выхода нет. Про "купить" - не знаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
ИМХО, им (ЛК) и самим это кажется, вернее, они это знают. Да только не получается. Если бы у КИС результат был бы хотя бы как у "изгоя", они (ЛК) не стали бы заморачиваться с хипсами и белыми списками.

хипс это один из трендов развития индустрии, я не согласен с тем что им "заморочились" только лишь из-за того что эмулятор не дотягивает до чьего-то уровня

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

хипс это один из трендов развития индустрии, я не согласен с тем что им "заморочились" только лишь из-за того что эмулятор не дотягивает до чьего-то уровня
т.е. это общий дополнительный перспективный резерв в достижении общего более высокого результата?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007

Я все о своем - Олег Зайцев же разработал AVZ, ведь она содержит очень неплохой анализатор. Так почему ЛК не сделать ОСНОВНОЙ эмулятор на основе технологий AVZ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Вставлю свое, никому не нужное слово. Защита бывает реактивной и проактивной. Так что эмуль - это не второе название проактивки, а одно его разновидностей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Я тоже - о своем. Следует ли понимать, что эвристика на современном этапе достигла своего вероятностно-прогнозируемого максимума? И иной альтернативы, кроме поведенческих блокираторов, нет?

ЗЫ. Мне более по духу прорыв в эвристике и обновления баз раз в неделю, чем сомнительный хипс и сомнительная гордость ежечасными обновлениями. Мы же говорим о защите, а не о ликвидации последствий в ее дырах?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×