Cyveillance: тест антивирусов на проактивный детект и скорость реакции

[Сергей Ильин 1538]

Довольно простой, но тем не менее интересный тест провела до селе мне лично неизвестная компания Cyveillance.

Ребята тестировали детект антивирусами непосредственно в момент обнаружения самплов (в течении дня), а также смотрели динамику изменений детекта в течении месяца.

4 августа они собрали 1,708 самплов, на которых и делался теста. Результаты получились такие:

Первый день

Eset получился самый проактивный, а в целом лучший среди худших.

А следующий график, ИМХО самый интересный, так как показывает работу вирлабов - скорость улучшения детектирования.

Полный отчет можно прочитать здесь

http://www.cyveillance.com/web/docs/WP_Mal...ectionRates.pdf

**********************************

Что скажете про методологию теста и его результаты?

Встает вопрос о репрезентативности результатов. Что если бы тоже самое проделали в другой день, например.

[wert 60]

Доселе - пишется слитно.

А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

[strat 275]

Явно не хватает разрядности, т.е. перерыв от 1 до 8 дней велик, а так интересны высокие результаты нода и всеобщая недетектируемость 100% вирей в течение месяца, возможно не все там вири.

Какие выводы можно сделать, нод отлично защищает, также авг и каспер.

[Lias 5]

нод отлично защищает,

у меня почему-то теория расходится с практикой

[A. 876]

Странно, а мне казалось что эту гавноконтору с ее гавнотестами, мы тут еще в прошлом году обсуждали...

[Lias 5]

ага

по детектам зловредов имхо лк, веб и макафи впереди всех

[Danilka 678]

Хрень, а не тест. И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

[mennen 100]

Я сам не пойму. Как я понимаю политика ЛК поменялась. Например, я отсылал вирусы на newvirus, так они спустя неделю иногда не добавлялись, только стал отсылать из личного кабинета (с прикрепленным ключом), добавляют спустя спустя сутки-двое.

У Симантек тоже своя система. Чем больше людей отсылают семплы в антивирусную лабораторию, тем быстрее добавляют в базу.

[_Stout 131]

Хрень, а не тест. И что они семплы потом отсылали сами, на newvirus например, и смотрели когда появится детект ? Тогда точно хрень еще полнейшая...

Они никуда ничего не посылали. Просто ресканировали каждые 6 часов файлы и смтрели кто и когда задетектил. А почему тест хрень?

[Danilka 678]

А почему тест хрень?

А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

[_Stout 131]

А где у них написано, каким образом они отбирали малвару и реально ли это была малвара? Да и результаты Dr.Web смущают....

Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

[Danilka 678]

Все, что само приползло. Суда по результатам 95% файлов малварь. Даже если 5% это не малварь -- результаты на лицо. А меня не очень смущают. Меня другое напрягает.

Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. Бог с ними.

А что тебя напрягает в этом тесте?

[Сергей Ильин 1538]

А по теме, эпидемия близкородственных Trojan.FakeTestAV будет развиваться. В этом сегменте возможно получение денег и других радостей. Примеры - рядом.

Это к чему вообще написано, расшифруйте свою мысль. Ну есть фейковые AV и что дальше? Как это соотносится с результатам данного теста.

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Меня другое напрягает.

Что именно?

[_Stout 131]

Это я так, на вскидку писал, ну и далее - версии продуктов не указаны, да можно перечислять дальше по пунктам. Бог с ними.

А что тебя напрягает в этом тесте?

А что ты думаешь о самих результатах? О детекте, о времени реакции?

ИМХО вторая часть про мониторинг скорости добавления самплов все же качественно показывает кто и как работает по добавлению сигнатур. Другое дело, что там ничего больше кроме сигнатур не учитывается в принципе.

Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

[Danilka 678]

А что ты думаешь о самих результатах? О детекте, о времени реакции?

Для начала надо разобраться как они засчитывали детект - эвристик учитывали или нет, если да, то какие его настройки ( всего этого я что то не нашел в отчете, хотя может невнимательно читал). Что касается времени реакции - то у нас получается самая оперативная реакция в первые дни - судя по кривой графика. А вообще сложно анализировать этот тест - не очень он прозрачен...

[Сергей Ильин 1538]

Почему ты так считаешь, что не учитывалось? Возможно облако не учитывалось, а все что в базах приходит явно учитывалось.

Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально Будет время сделаю, интересно.

[_Stout 131]

Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально Будет время сделаю, интересно.

Да, согласен. По всей видимости файлы не запускались. Вполне есть место для улучшений.

[wert 60]

Ну есть фейковые AV и что дальше?

Эм, это Вы где про фейковые антивирусы прочитали?

[Maratka 30]

Я здесь имел в виду, что учитывались только результаты работы файлового сканера (сигнатуры+проактив у кого какой есть), файлы же не запускались. Т.е. поведенческие и облачные технологии остались за рамками теста. К тому же меня смущает, что брались уже сами тушки малвары, а не исседовалась атака целиком, именно поэтому я бы рассматривал данные тест как проверку скорости добавления образцов в БД. Кстати, эту скорость можно посчитать нормально Будет время сделаю, интересно.

в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает.

Если конкуренты не умеют - это их явный минус.

[Сергей Ильин 1538]

в КАВ/КИС/Pure 2010+ запуск программы не является необходимым условием для детекта по UDS.

Сканер тоже туда обращаться умеет, и не просто умеет, но и делает. smile.gif

Если конкуренты не умеют - это их явный минус.

А как на счет эмулятора, например? К тому же повторюсь, это все только анализ тушки зловреда, а это финальный элемент атаки. До него атака могла закончиться на этапе захода на зараженный сайт или при попытке установки в системе.