Перейти к содержанию
Олег Гудилин

Retrospective/ProActive Test May 2008 and KIS v8 (proactive test)

Recommended Posts

Олег Гудилин

Cегодня, фактически одновременно вышли 2 теста av-comparatives.org:

-Retrospective/ProActive Test http://www.av-comparatives.org/seiten/erge...se/report18.pdf

и

-Kaspersky Internet Security v8 (proactive test) http://www.av-comparatives.org/seiten/ergebnisse/KIS8.pdf

К сожалению Андреас так и не сделал общего теста на проактивную защиту и продолжает в своих стандартных отчетах ограничиваться ретроспективными тестами на эвристику. Поведенческие методы защиты остаются за бортом и судя по его отчету он планирует начать их тестирование только в 2009м году.

В итоге мы получили, то что мы получили - возможности проактивной защиты снова будут оцениваться исключительно по этому тесту эвристиков. Ретроспективные результаты KAV 7.0 прямо скажем не впечетляют и это будет прекрасным поводом для гнобления со стороны конкурентов.

Все что возможно в этой ситуации сделать - протестировать все проактивные механизмы обнаружения наших продуктов в отдельном тесте, но на той же коллекции зловредов, что и вобщем тесте. Семерку тестировать уже бесполезно - дали восьмерку (2009).

Результат таков:

- по эвристику это уже не 21% детекта как у семерки, а 42%.

- модуль контроля приложений автоматически заблокировал 68% зловредов из тестового набора, присвоив им рейтинг опасности 100. К слову сказать у NOD32 его эвристик взял 57%.

- модуль Проактивная защита (PDM), который есть не только восьмерке, но и в версиях 6/7, к сожалению отдельно не тестировался.

P/S Результат Sophosa с максимальными настройками очень интересен - лучший детект, но огромное количество фолсов.

result.png

result2.png

false.png

post-1330-1212326972_thumb.png

post-1330-1212326983_thumb.png

post-1330-1212327444_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu

Как понимаю контроль приложений использовался с заране задаными настройками вендора или перед тестом еще что-то донастраивалось?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Как понимаю контроль приложений использовался с заране задаными настройками вендора или перед тестом еще что-то донастраивалось?

а какая разница, автоматически блочатся тока недоверенные приложения, а они блочатся хоть в каком режиме киса

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Олег777

Ну что можно сказать: налицо явный прогресс. Всё-таки, результаты 8-ки превосходят 7-ку. Это внушает оптимизм! :rolleyes:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Kokunov Aleksey
а какая разница, автоматически блочатся тока недоверенные приложения, а они блочатся хоть в каком режиме киса

Несовсем так - автоматически блочатся приложения, получившие 100 баллов при анализе... (ну и конечно же те, которые заложили в базу разработчики).

Анализ производится на базе технологий от АВЗ

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Несовсем так - автоматически блочатся приложения, получившие 100 баллов при анализе... (ну и конечно же те, которые заложили в базу разработчики).

Анализ производится на базе технологий от АВЗ

ну окей, но сути это не меняет - там написано, что две трети вирья из коллекции блочатся автоматически

при этом базы не обновлены

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

И добавлено (уже на форуме ЛК), что блочились они не по базе недоверенных, а по честному рейтингу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Deja_Vu
И добавлено (уже на форуме ЛК), что блочились они не по базе недоверенных, а по честному рейтингу.

Тогда результаты меня впечатлили -))

Отредактировал Umnik
убрал колорирование

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007

Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
0xFEE1C001
Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?

Подумаешь вирус! Зачем его обнаруживать, пусть почтовый сервер пересылает его пользователям. Например пользователям mail.ru, вдруг повезет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
Объясните пожалуйста - 2/3 от общего количества вирусов были заблокированы, но для этого их надо было запускать? То есть сканирование по требованию такое число вирусов не обнаружило бы?
Подумаешь вирус! Зачем его обнаруживать, пусть почтовый сервер пересылает его пользователям. Например пользователям mail.ru, вдруг повезет.

о вы придумали отмазку:) но она гнилая - придумайте новую

да лежащими на диске было бы обнаружено не 68%, а 42%. но заражения бы вирусами что попали в эту разницу не произошло, т.к. запуститься они смогли бы. а раз они запуститься не смогли бы - то как они простите занимались самораспространением по пользователям mail.ru?

идите думать над аргументами дальше мои юные друзья

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
zanuda
-Kaspersky Internet Security v8 (proactive test) http://www.av-comparatives.org/seiten/ergebnisse/KIS8.pdf

К сожалению, не увидел результатов доп.тестирования по всем пунктам, почему так скромно?

В итоге мы получили, то что мы получили - возможности проактивной защиты снова будут оцениваться исключительно по этому тесту эвристиков.

А давайте разработаем нормальню методику теста проактивной защиты?

И будем использовать ее здесь и пошлем коллегам, ведь нам не жалко?

Вот меня интересует, ловля тараканов а ля pinch, борьба с флешками блохастами, ну конечно эксплойты на броузеры...

Ну черви классические, почтовые...

Сделаем образцы тестов. И будем тестировать всех, так чтобы воспроизводимо было читателем :-)

Ретроспективные результаты KAV 7.0 прямо скажем не впечетляют и это будет прекрасным поводом для гнобления со стороны конкурентов.

Ну что Вы грустите по поводу конкурентов? Может стоит сосредоточить внимание на совершенствовании продукта? Ведь ничего сверхсложного не нужно :-)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
да лежащими на диске было бы обнаружено не 68%, а 42%.

Получается это и есть проактивка? Просто я не понимаю разницы между проактивной защитой и ХИПС. Почему в тесте пишут, что 68% заблокировано ХИПС? Получается, что PDM их не заблокировала.

p.s. простите если туплю, но просто очень хочется понять сей механизм

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

если очень упрощенно и без влезания в эти термины хипс не хипс, то в KIS2009 есть по большому счету три компонента проактивной защиты (защиты от вирья, которого нет в сигнатурах)

1.есть эмулятор, ну или как это обозначено в интерфейсе Эвристический анализ, назови его как хочешь - он обнаруживает зловредов и на лету и просто при тупом сканировании диска по требованию

2. есть модуль Проактивной защиты (PDM), который по поведению запущенного приложения может определить его вредоносность и заблокировать его действия. Это работает только на запущенных приложениях и к сканированию диска по требованию никакого отношения не имеет

3.есть Фильтрация активности приложений - также работает только если вредоноса запустить, при запуске приложения специальными эвристикам оценивается индекс опасности, зловред как правило будет иметь высокий индекс опасности и будет в связи с этим отнесен к недовренным приложениям или к приложениям с сильными ограничениями - в результате его вредоносоные попытки чего-то предпринять в системе будут блокироваться

последние 2 метода, али только последний один метод можно обзывать хипсом если сильно охота в термины лезть

таким образом Клементий говорит - 68% вредонсов при запуске было заблокировано HIPS (Aplication control). В интерфейсе в Контроль приложений входит и PDM и Фильтрация активности. Так что: чем там оно заблокировано конкретно я бы не взялся судить по его отчету.

мои предположения:

- 42% зловредов было поймано пунктом 1 (Эвристический анализ) при сканировании по требованию

- 68% было поймано пунктами 2 и 3 при запуске зловредов

одно могу сказать точно - такого сочетания трех компонент проактивной защиты вряд ли вы найдете у кого еще

ну да конечно доки и гуру укажут мне что я все неправильно объяснил, но дорогие мои на простейшем уровне все так и есть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
<...> ну да конечно доки и гуру укажут мне что я все неправильно объяснил, но дорогие мои на простейшем уровне все так и есть

ну на то они и гуру:) Большое спасибо за разъяснение. Теперь стало понятно!!!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Пожалуйста, найдите ошибки в моих рассуждениях (все термины можно найти на wiki).

Выражения - синонимы: эвристический анализ (ЭА) = проактивная защита (ПЗ).

Состав ЭА = ПЗ:

1. Эмулятор, с исходными данными на сигнатурных отпечатках. Принято называть "эвристикой" (почему?).

2. Поведенческий блокиратор. Принято называть "проактивной защитой" или ее модулем (почему?).

3. ЭА = ПЗ, основанная на анализе степени угрозы от "чистого" кода программы (не реализован никем).

HIPS не имеет никаких "специальных" эвристик. Он использует комбинации имеющихся.

Например, в ЛК предложен следующий алгоритм его реализации в КИС 2009

(http://virusinfo.info/showthread.php?t=23758):

цитата DVi:

"Это выглядит примерно так:

1. KIS детектирует запуск файла и проверяет наличие цифровой подписи,

2. если подписи нет, то проверяет по белому списку

3. если в белом списке нет, то проверяет по антивирусным базам,

4. если там нету, тогда пропускает через эмуляцию и вычисляет рейтинг опасности

5. На основании всех этих проверок заносит в определенную группу.

Белый список - это база доверенных приложений ЛК..."

Иными словами:

пп. 1-2-3 вообще не эвристика.

п. 4 - две части эвристического анализа или проактивной защиты: сигнатурная эвристика - эмуляция (DVi - "эмуляцию") + поведенческий блокиратор (DVi - "вычисляет рейтинг опасности").

Итого, 68% - это максимум всей эвристики в КИС 2009.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

эвристический анализ (ЭА) НЕ= проактивная защита (ПЗ).

поведенческий блокиратор (модуль Проактивная защита) никакого отношения к вычислению индекса опасности не имеет

при вычислении индекса опасности кроме кроме стандартного эмулятора касперского применяются эвристики AVZ

68% это максимум ПЗ в КИС 2009 - ну наверное да...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
alexgr
Итого, 68% - это максимум всей эвристики в КИС 2009.

Если даже согласиться с этой цифрой - на достаточно хороша для НЕСИГНАТУРНОГО обнаружения. Очень приличная величина!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007
Если даже согласиться с этой цифрой - на достаточно хороша для НЕСИГНАТУРНОГО обнаружения. Очень приличная величина!

Но ведь получается, что для этого надо вирус запустить. А это нехорошо. Мне кажется, что касперу надо "усилить" эвристик. Авира при проверку взяла 70 с лишним. В прошлом году у Каспера было 35%, в этом 42%. Может тогда лучше купить ее эвристик, если свой пока в разработке?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Большое спасибо. Я не комментирую цифру в 68%, как низкую или высокую. Просто у меня создалось впечатление,

Результат таков:

- по эвристику это уже не 21% детекта как у семерки, а 42%.

- модуль контроля приложений автоматически заблокировал 68% зловредов из тестового набора, присвоив им рейтинг опасности 100. К слову сказать у NOD32 его эвристик взял 57%.

- модуль Проактивная защита (PDM), который есть не только восьмерке, но и в версиях 6/7, к сожалению отдельно не тестировался.

что третий пункт этой фразы предполагает еще некий прирост результатов.
при вычислении индекса опасности кроме кроме стандартного эмулятора касперского применяются эвристики AVZ
ИМХО, если AVZ интегрирована в КИС "по обоюдному согласию" и общий продукт имеет название КИС 2009, то их можно уже и не упоминать по отдельности?
Мне кажется, что касперу надо "усилить" эвристик. Авира при проверку взяла 70 с лишним. В прошлом году у Каспера было 35%, в этом 42%. Может тогда лучше купить ее эвристик, если свой пока в разработке?
ИМХО, им (ЛК) и самим это кажется, вернее, они это знают. Да только не получается. Если бы у КИС результат был бы хотя бы как у "изгоя", они (ЛК) не стали бы заморачиваться с хипсами и белыми списками. А так иного выхода нет. Про "купить" - не знаю.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван
ИМХО, им (ЛК) и самим это кажется, вернее, они это знают. Да только не получается. Если бы у КИС результат был бы хотя бы как у "изгоя", они (ЛК) не стали бы заморачиваться с хипсами и белыми списками.

хипс это один из трендов развития индустрии, я не согласен с тем что им "заморочились" только лишь из-за того что эмулятор не дотягивает до чьего-то уровня

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

хипс это один из трендов развития индустрии, я не согласен с тем что им "заморочились" только лишь из-за того что эмулятор не дотягивает до чьего-то уровня
т.е. это общий дополнительный перспективный резерв в достижении общего более высокого результата?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Olegka-2007

Я все о своем - Олег Зайцев же разработал AVZ, ведь она содержит очень неплохой анализатор. Так почему ЛК не сделать ОСНОВНОЙ эмулятор на основе технологий AVZ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Вставлю свое, никому не нужное слово. Защита бывает реактивной и проактивной. Так что эмуль - это не второе название проактивки, а одно его разновидностей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
bse

Я тоже - о своем. Следует ли понимать, что эвристика на современном этапе достигла своего вероятностно-прогнозируемого максимума? И иной альтернативы, кроме поведенческих блокираторов, нет?

ЗЫ. Мне более по духу прорыв в эвристике и обновления баз раз в неделю, чем сомнительный хипс и сомнительная гордость ежечасными обновлениями. Мы же говорим о защите, а не о ликвидации последствий в ее дырах?

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.15.6
      ---------------------------------------------------------
       o Исправлена ошибка из-за которой автоматически не замораживались потоки внедренные в uVS,
         если их код НЕ принадлежал одной из загруженных DLL.

       o Добавлена поддержка английского интерфейса при запуске под Win2k.

       
    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
×