Перейти к содержанию
Сергей Ильин

Cyveillance: тест антивирусов на проактивный детект и скорость реакции

Recommended Posts

Сергей Ильин

Довольно простой, но тем не менее интересный тест провела до селе мне лично неизвестная компания Cyveillance.

Ребята тестировали детект антивирусами непосредственно в момент обнаружения самплов (в течении дня), а также смотрели динамику изменений детекта в течении месяца.

4 августа они собрали 1,708 самплов, на которых и делался теста. Результаты получились такие:

Первый день

cyveillance.PNG

cyveillance1.PNG

Eset получился самый проактивный, а в целом лучший среди худших.

А следующий график, ИМХО самый интересный, так как показывает работу вирлабов - скорость улучшения детектирования.

cyveillance2.PNG

Полный отчет можно прочитать здесь

http://www.cyveillance.com/web/docs/WP_Mal...ectionRates.pdf

**********************************

Что скажете про методологию теста и его результаты?

Встает вопрос о репрезентативности результатов. Что если бы тоже самое проделали в другой день, например.

post-4-1281113861_thumb.png

post-4-1281114119_thumb.png

post-4-1281114139_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert

Доселе - пишется слитно.

А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Явно не хватает разрядности, т.е. перерыв от 1 до 8 дней велик, а так интересны высокие результаты нода и всеобщая недетектируемость 100% вирей в течение месяца, возможно не все там вири.

Какие выводы можно сделать, нод отлично защищает, также авг и каспер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias

нод отлично защищает,
у меня почему-то теория расходится с практикой

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Странно, а мне казалось что эту гавноконтору с ее гавнотестами, мы тут еще в прошлом году обсуждали...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias

ага

по детектам зловредов имхо лк, веб и макафи впереди всех

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Хрень, а не тест. :) И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mennen

Я сам не пойму. Как я понимаю политика ЛК поменялась. Например, я отсылал вирусы на newvirus, так они спустя неделю иногда не добавлялись, только стал отсылать из личного кабинета (с прикрепленным ключом), добавляют спустя спустя сутки-двое.

У Симантек тоже своя система. Чем больше людей отсылают семплы в антивирусную лабораторию, тем быстрее добавляют в базу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Хрень, а не тест. :) И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Они никуда ничего не посылали. Просто ресканировали каждые 6 часов файлы и смтрели кто и когда задетектил. А почему тест хрень?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А почему тест хрень?

А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. :) Бог с ними.

А что тебя напрягает в этом тесте? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Это к чему вообще написано, расшифруйте свою мысль. Ну есть фейковые AV и что дальше? Как это соотносится с результатам данного теста.

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Меня другое напрягает.

Что именно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. :) Бог с ними.

А что тебя напрягает в этом тесте? :)

А что ты думаешь о самих результатах? О детекте, о времени реакции?

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А что ты думаешь о самих результатах? О детекте, о времени реакции?

Для начала надо разобраться как они засчитывали детект - эвристик учитывали или нет, если да, то какие его настройки ( всего этого я что то не нашел в отчете, хотя может невнимательно читал). Что касается времени реакции - то у нас получается самая оперативная реакция в первые дни - судя по кривой графика. А вообще сложно анализировать этот тест - не очень он прозрачен...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

Да, согласен. По всей видимости файлы не запускались. Вполне есть место для улучшений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
Ну есть фейковые AV и что дальше?

Эм, это Вы где про фейковые антивирусы прочитали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Maratka
Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. :)

Если конкуренты не умеют - это их явный минус.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. smile.gif

Если конкуренты не умеют - это их явный минус.

А как на счет эмулятора, например? К тому же повторюсь, это все только анализ тушки зловреда, а это финальный элемент атаки. До него атака могла закончиться на этапе захода на зараженный сайт или при попытке установки в системе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      ---------------------------------------------------------
       4.15.6
      ---------------------------------------------------------
       o Исправлена ошибка из-за которой автоматически не замораживались потоки внедренные в uVS,
         если их код НЕ принадлежал одной из загруженных DLL.

       o Добавлена поддержка английского интерфейса при запуске под Win2k.

       
    • demkd
      Иногда спрашивают, как загрузиться в командную строку без диска, я постоянно забывают дополнить Общий FAQ.
      И вот наконец-то я про это вспомнил:
      Q: Как запустить uVS с командной строки Windows без использования загрузочного диска/флешки для работы с НЕактивной системой.
         (!) Для текущей версии uVS работа с командной строки доступна только для 32-х битных систем. (что бы работало в x64 системах, нужно делать uVS x64 и это запланировано).
         1. Если у вас Windows 8 и старше, то запустите start.exe и нажмите кнопку "Перезагрузить систему в меню дополнительных параметров загрузки".
         2. Далее в меню "Поиск и устранение неисправностей->Дополнительные параметры->Командная строка"
         3. Выберите админскую учетную запись и введите для нее пароль.
         4. Запустите start.exe из каталога uVS с командной строки.
            (!) Обычно система расположена на диске D.
                Например: uVS лежит в каталоге С:\uvs (в командной строке это будет D:\uvs)
                Для запуска uVS необходимо последовательно набрать 3 команды, завершая каждую нажатием клавиши Enter.
                1. d:
                2. cd d:\uvs
                3. start.exe
         5. Выбрать каталог Windows (обычно D:\Windows).
         Если у вас Windows 7 и младше, то в меню вы можете попасть только нажав F8 при перезагрузке системы
         (!) Использовать msconfig для этого не рекомендуется, система может не загрузиться после его использования.
         Для младших систем доступен только безопасный режим с поддержкой командной строки, т.е. система будет активна.
       
    • demkd
      ---------------------------------------------------------
       4.15.5
      ---------------------------------------------------------
       o Обновлена функция трансляции переменных окружения USERPROFILE, HOMEPATH, LOCALAPPDATA, APPDATA.
         Значения этих переменных теперь зависят от того где физически находится lnk файл.
         Теперь с разбором lnk файлов будет меньше проблем, но я все же рекомендую удалять ссылки
         на отсутствующие объекты только под текущем пользователем.

       o Исправлена функция разбора путей не содержащих букву диска.

       o Исправлена функция разбора аргументов rundll32.

       o Обновлен start.exe.
         o Обновлен интерфейс.
         o Изменена кнопка по умолчанию, теперь это "запуск под текущим пользователем".
         o Исправлена ошибка: при определенных параметрах повторный запуск uVS в режиме "до запуска эксплорера" был невозможен.
         
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 17.1.13.
    • demkd
      ---------------------------------------------------------
       4.15.4
      ---------------------------------------------------------
       o Обновлен интерфейс.

       o Из Ф портировано окно "История запуска процессов" для комфортного распутывания цепочек запуска и взаимодействия
         процессов с задачами.
         Доступ к окну можно получить через меню "Дополнительно->История процессов и задач".
         В первом списке отображается история запуска процессов с момента старта системы (по данным журнала Windows).
         В списке доступен фильтрующий поиск по имени, PID и фильтрация по родительскому процессу (см. контекстное меню).
         В нижнем списке отображается история воздействия процессов на задачи с момента запуска системы, а если установлен
         фильтр родительского процесса то отображаются лишь те задачи с которым взаимодействовал родительский процесс.
         (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
         (!) История не доступна для неактивных систем.

       o Обновлен формат образа автозапуска, образы созданные v4.15.4 не будут читаться старыми версиями uVS.
         Добавлено:
          o Мгновенный срез активности процессов на момент завершения создания образа (Запустить->Просмотр активности процессов [Alt+D])
          o История процессов и задач (Дополнительно->История процессов и задач)
            (!) История доступна лишь при активном отслеживании процессов и задач (Твик #39).
          o Защита образа от повреждений.

       o Утилита cmpimg обновлена до версии 1.04 для поддержки нового формата образов автозапуска.

       o Утилита uvs_snd обновлена до версии 1.05 для поддержки нового формата образов автозапуска.

       o Теперь при подключении к удаленной системе всегда запускается "v" версия uVS, если клиентская система не младше Vista.
         На удаленной системе всегда запускается обычная версия uVS для совместимости с системами младше Vista.

       o Исправлена ошибка отображения имени процесса при работе под Win2k в окне "Активность процессов".
         (!) Английская версия uVS НЕ_совместима с Win2k, с Win2k работает только русская версия.

       o Исправлена ошибка разбора состояния TCPIPv6 соединений.
       
×