Сергей Ильин

Cyveillance: тест антивирусов на проактивный детект и скорость реакции

В этой теме 20 сообщений

Довольно простой, но тем не менее интересный тест провела до селе мне лично неизвестная компания Cyveillance.

Ребята тестировали детект антивирусами непосредственно в момент обнаружения самплов (в течении дня), а также смотрели динамику изменений детекта в течении месяца.

4 августа они собрали 1,708 самплов, на которых и делался теста. Результаты получились такие:

Первый день

cyveillance.PNG

cyveillance1.PNG

Eset получился самый проактивный, а в целом лучший среди худших.

А следующий график, ИМХО самый интересный, так как показывает работу вирлабов - скорость улучшения детектирования.

cyveillance2.PNG

Полный отчет можно прочитать здесь

http://www.cyveillance.com/web/docs/WP_Mal...ectionRates.pdf

**********************************

Что скажете про методологию теста и его результаты?

Встает вопрос о репрезентативности результатов. Что если бы тоже самое проделали в другой день, например.

post-4-1281113861_thumb.png

post-4-1281114119_thumb.png

post-4-1281114139_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Доселе - пишется слитно.

А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Явно не хватает разрядности, т.е. перерыв от 1 до 8 дней велик, а так интересны высокие результаты нода и всеобщая недетектируемость 100% вирей в течение месяца, возможно не все там вири.

Какие выводы можно сделать, нод отлично защищает, также авг и каспер.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

нод отлично защищает,
у меня почему-то теория расходится с практикой

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Странно, а мне казалось что эту гавноконтору с ее гавнотестами, мы тут еще в прошлом году обсуждали...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

ага

по детектам зловредов имхо лк, веб и макафи впереди всех

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Хрень, а не тест. :) И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Я сам не пойму. Как я понимаю политика ЛК поменялась. Например, я отсылал вирусы на newvirus, так они спустя неделю иногда не добавлялись, только стал отсылать из личного кабинета (с прикрепленным ключом), добавляют спустя спустя сутки-двое.

У Симантек тоже своя система. Чем больше людей отсылают семплы в антивирусную лабораторию, тем быстрее добавляют в базу.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Хрень, а не тест. :) И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Они никуда ничего не посылали. Просто ресканировали каждые 6 часов файлы и смтрели кто и когда задетектил. А почему тест хрень?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А почему тест хрень?

А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. :) Бог с ними.

А что тебя напрягает в этом тесте? :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Это к чему вообще написано, расшифруйте свою мысль. Ну есть фейковые AV и что дальше? Как это соотносится с результатам данного теста.

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Меня другое напрягает.

Что именно?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. :) Бог с ними.

А что тебя напрягает в этом тесте? :)

А что ты думаешь о самих результатах? О детекте, о времени реакции?

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А что ты думаешь о самих результатах? О детекте, о времени реакции?

Для начала надо разобраться как они засчитывали детект - эвристик учитывали или нет, если да, то какие его настройки ( всего этого я что то не нашел в отчете, хотя может невнимательно читал). Что касается времени реакции - то у нас получается самая оперативная реакция в первые дни - судя по кривой графика. А вообще сложно анализировать этот тест - не очень он прозрачен...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

Да, согласен. По всей видимости файлы не запускались. Вполне есть место для улучшений.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Ну есть фейковые AV и что дальше?

Эм, это Вы где про фейковые антивирусы прочитали?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально :) Будет время сделаю, интересно.

в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. :)

Если конкуренты не умеют - это их явный минус.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. smile.gif

Если конкуренты не умеют - это их явный минус.

А как на счет эмулятора, например? К тому же повторюсь, это все только анализ тушки зловреда, а это финальный элемент атаки. До него атака могла закончиться на этапе захода на зараженный сайт или при попытке установки в системе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • rustlakov
      Умные люди всегда найдут на чём заработать и как. Тем более что возможностей заработать деньги в наше время очень и очень большое количество. Только слепой не увидит их. А что уж там говорить про интернет. Он сейчас настолько развит что в нём даже можно уже деньги зарабатывать. Лет десять назад про это ещё никто не знал. Сейчас же ситуация очень изменилась.
    • Pechalka
      Вообще не замарачиваюсь по этому поводу. Где там моя посылка... Заказываю всегда всё заранее и сижу не дергаюсь, на любом сайте указаны сроки доставки, раньше указанного срока даже и не переживаю о посылке и вот до сих пор всё всегда приходило, что-то быстро, что-то не очень. Но в целом меня всё устраивает.
    • Bomborgman
      Точно такая же проблема на Premium-версии.
    • Dion
      Всё таки как далеко продвинулись компьютерные технологии по сравнению с начало девяностых годов когда ещё никто в помине не знал, что будет такое  html. А Сейчас уже наверно каждый дошкольник разбирается круче в компьютере  чем в девяностые старшеклассник!
    • ratus
      Со временем в системе все нормально. И еще нюанс, первые 10 минут после загрузки системы значок обновлений с зеленой галочкой. В последствии, он меняется на восклицательный знак оранжевого цвета. Значок отображается на информационной панели антивируса в правом столбце.