Перейти к содержанию
Сергей Ильин

Cyveillance: тест антивирусов на проактивный детект и скорость реакции

Recommended Posts

Сергей Ильин

Довольно простой, но тем не менее интересный тест провела до селе мне лично неизвестная компания Cyveillance.

Ребята тестировали детект антивирусами непосредственно в момент обнаружения самплов (в течении дня), а также смотрели динамику изменений детекта в течении месяца.

4 августа они собрали 1,708 самплов, на которых и делался теста. Результаты получились такие:

Первый день

cyveillance.PNG

cyveillance1.PNG

Eset получился самый проактивный, а в целом лучший среди худших.

А следующий график, ИМХО самый интересный, так как показывает работу вирлабов - скорость улучшения детектирования.

cyveillance2.PNG

Полный отчет можно прочитать здесь

http://www.cyveillance.com/web/docs/WP_Mal...ectionRates.pdf

**********************************

Что скажете про методологию теста и его результаты?

Встает вопрос о репрезентативности результатов. Что если бы тоже самое проделали в другой день, например.

post-4-1281113861_thumb.png

post-4-1281114119_thumb.png

post-4-1281114139_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert

Доселе - пишется слитно.

А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
strat

Явно не хватает разрядности, т.е. перерыв от 1 до 8 дней велик, а так интересны высокие результаты нода и всеобщая недетектируемость 100% вирей в течение месяца, возможно не все там вири.

Какие выводы можно сделать, нод отлично защищает, также авг и каспер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias

нод отлично защищает,
у меня почему-то теория расходится с практикой

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Странно, а мне казалось что эту гавноконтору с ее гавнотестами, мы тут еще в прошлом году обсуждали...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lias

ага

по детектам зловредов имхо лк, веб и макафи впереди всех

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka

Хрень, а не тест. :) И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
mennen

Я сам не пойму. Как я понимаю политика ЛК поменялась. Например, я отсылал вирусы на newvirus, так они спустя неделю иногда не добавлялись, только стал отсылать из личного кабинета (с прикрепленным ключом), добавляют спустя спустя сутки-двое.

У Симантек тоже своя система. Чем больше людей отсылают семплы в антивирусную лабораторию, тем быстрее добавляют в базу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Хрень, а не тест. :) И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Они никуда ничего не посылали. Просто ресканировали каждые 6 часов файлы и смтрели кто и когда задетектил. А почему тест хрень?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А почему тест хрень?

А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. :) Бог с ними.

А что тебя напрягает в этом тесте? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Это к чему вообще написано, расшифруйте свою мысль. Ну есть фейковые AV и что дальше? Как это соотносится с результатам данного теста.

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Меня другое напрягает.

Что именно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. :) Бог с ними.

А что тебя напрягает в этом тесте? :)

А что ты думаешь о самих результатах? О детекте, о времени реакции?

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Danilka
А что ты думаешь о самих результатах? О детекте, о времени реакции?

Для начала надо разобраться как они засчитывали детект - эвристик учитывали или нет, если да, то какие его настройки ( всего этого я что то не нашел в отчете, хотя может невнимательно читал). Что касается времени реакции - то у нас получается самая оперативная реакция в первые дни - судя по кривой графика. А вообще сложно анализировать этот тест - не очень он прозрачен...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
_Stout
Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

Да, согласен. По всей видимости файлы не запускались. Вполне есть место для улучшений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
wert
Ну есть фейковые AV и что дальше?

Эм, это Вы где про фейковые антивирусы прочитали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Maratka
Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. :)

Если конкуренты не умеют - это их явный минус.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. smile.gif

Если конкуренты не умеют - это их явный минус.

А как на счет эмулятора, например? К тому же повторюсь, это все только анализ тушки зловреда, а это финальный элемент атаки. До него атака могла закончиться на этапе захода на зараженный сайт или при попытке установки в системе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×