Перейти к содержанию
Сергей Ильин

Мини-тест: Иной взгляд на проактивность

Recommended Posts

Сергей Ильин

Очень много сейчас говорится про проактивность, умение антивирусов противостоять еще неизвестным видам угроз. При этом каждый вендор тянет одеяло на себя, умело манипулируя этим понятием, вкладывая в его суть удобное для себя.

Сотрясающая воздух информация:

1. Ежедневные/ежечасные обновления необходимы.

2. Качественный эвристик - альтератива частому обновления баз.

3. Скорость реакции на новые угрозы - вот, что действительно важно.

Эти утверждения, кажется, уже твердо засели в мозг всем. Естественно, я не мог пройти мимо этих вопросов, не взглянув на них с исследовательской точки зрения.

В результате я провел небольшой тест. Заморозил базы антивирусов на неделю. Собрал из различный источников ITW коллекцию вредоносных программ, прочем только тех, которые поступили именно в эту неделю. В ней с учетом отброса повторов оказалось 1120 уникальных семплов.

Сразу хочу пояснить, что в эти 1120 попали, естественно как совсем новый самплы, так и те, который появились чуть раньше. Но все они ITW, ходили в природе именно в эту неделю и были реально опасны для пользователей.

В конце недели я прогнал по этой коллекции все антивирусы с замороженными базами. Моделировалась ситуация при которой апдейты выходят не часто или пользователь по какой-то причине их забыл/не смог/не захотел обновить.

Результаты оказались несколько неожиданными для меня (см. рисунок ниже).

Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

Какие напрашиваются выводы? У меня лично самые банальные:

1. Без ежедневных апдейтов никуда

2. Важность и возможности эвристиков явно преувеличена.

Постараюсь в ближашее время к этому графику сделать надстройку от работы HIPS'ов.

detection_rate.gif

post-4-1193343414.gif

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
K_Mikhail
Антивирус / Детект / Детект (%) / Нет детекта (%)

Avast - 769 - 69% - 31%

AVG - 816 - 73% - 27%

Avira - 873 - 78% - 22%

DrWEb - 788 - 70% - 30%

Eset - 744 - 66% - 34%

Kaspersky - 983 - 88% - 12%

Panda - 619 - 55% - 45%

При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

так вроде бы общий детект он смотрел, так что все учитывалось как я понял

Сергей Ильин

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
При сканировании коллекции у Dr.Web были ли .origin-срабатывания? И если да - то в каком кол-ве и учитывались ли они в итоговом подсчёте?

Да, .origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

вы лучше скажите AVG и Avira бесплатные или полноценные версии глядели?

AntiVir PersonalEdition Premium 7

AVG Anti-Virus 7.5

Больше всего удивил провал "самых проактивных" - Eset и Panda Security.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Storm
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Дык Панда вроде только кейгены и кряки своей проактивкой ловит (личные наблюдения проверок на вирустотале :) ).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Николай Головко

Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dr Limpopo
Больше всего удивил провал "самых проактивных" - Eset и Panda Security

Их проактивка не есть ли термин департамента маркетинга этих компаний, и не более того?

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Какой процeнт дeтeкта Каспeрского принадлeжит эвристикe?

Чисто эвристических детектов типа Heur.* было 110.

Для сравнения у Eset детектов типа "probably a variant of .." и "probably unknown NewHeur_PE virus" было 367, но общий детект, к сожалению, хорошая эвристика не спасла.

Добавлено спустя 1 минуту 47 секунд:

В остальном, показательный тест, не требующий расширенных комментариев. Его нужно проводить ежемесячно.

Согласен. Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.

Итого:

KAV: Чисто эвристических детектов типа Heur.* было 110.

DrWeb: origin-срабатывания были - 60 вердиктов насчитал. Еще 20 Dr.Web взял на эвристику (это вердикты "Возможно, DLOADER.Trojan" и "Возможно, MULDROP.Trojan"). Еще 6 срабытываний был по сигнатурам типа .based.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Тест очень показательный, потому как в моей конторе у админов распространено такое мнение, что достаточно обновлять антивирус хотя бы раз в неделю. В настройках на рабочих компьютерах стоит - обновляться раз в сутки. С чем я категорически не согласен, очень неплохо было бы обновлять базы хотя бы два раза в день.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
DWState

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

Спасибо

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно

Интересно, конечно, делать надо.

Но вот 88% недельных как-то не совпадают с моими личными ощущениями. Процентов 70-75,не больше, меня бы успокоили.:)

Да и 69% аваста и 73% avg как-то многовато.

А как собирались файлы, какие настройки сканеров были?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Почему в тесте нет Outpost SS ? Там вроде бы как тоже есть методы эвристики?

И не будет их там. Потому что тестировать поделку под названием VirusBaster не интересно совсем, а HIPS'ы мы тут не рассматривали.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

"Если этот эксперимент будет признан нашим сообществом удачным, то будем делать это регулярно...."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов. :roll:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun

Для того, чтобы было понятней, может быть у каждого антивируса должно быть две колонки с результатом? Одна - это детект со свежей базой, вторая - с базой недельной давности. Так будет сразу понятно, чем опознал антивирус - сигнатурами или эвристиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Так будет сразу понятно, чем был опознан антивирус - сигнатурами или эвристиком.

Хорошая идея, в следующий раз так и сделаем. Спасибо!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dexter
"А мужики-то не знают..."

Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..." 8)

А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

и кстати - причем тут Outpost ? Тестируются антивирусы, а про VirusBuster Сергей уже сказал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Lemmit
Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.
А как собирались файлы, какие настройки сканеров были?

Как я понял, данный тест проводился не для того, чтобы сравнить, кто круче в проактивке, а чтобы на примере нескольких популярных АВ посмотреть (и показать), так ли сильны имеющиеся в наст. время методы проактивной защиты. Что Сергей и сделал. (+100) :)

А соревнование АВ по проактивке - тема отдельного теста. Там, конечно будут важны все подробности и представление большего числа участников.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
AlexxSun
Виталий Я.

Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

"А мужики-то не знают..."

Если Сергей будет регулярно выкидывать из тестирования решения 2-3 ведущих ведущих (на российском рынке) security-вендоров, методом исключения он добьется больших успехов.

По части выводов насчёт OSS - я согласен с Ильиным, это ещё очень сырой продукт, антивирус в нём действительно очень слабый. Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Кстати, да, надо бы добавить и outpost, да и всю первую российскую пятерку.

лично мое ощущение - что вся первая российская пятерка _домашних_пиратских_ антивирусов представлена. Симантек и Тренд в домохозяйствах используются менее часто, чем КАВ, Нод, Панда, ДрВеб и Авира.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Сергей, т.е. Вы умышленно отказываете Outpost Security Suite и Symantec Norton Antivirus в статусе антивирусных решений, имеющих вес на российском рынке?

Symantec я не выкидывал, также как и McAfee c Trend Micro. Куда без грандов то? Скоро выложу данные и по ним.

Откровенно говоря, Agnitum до Symantec далековато, не в обиду им будет сказано. Разные так сказать весовые категории.

Добавлено спустя 10 минут 7 секунд:

А как собирались файлы, какие настройки сканеров были?

Файлы собрались, как я писал из различных источников совсем, с обменников типа нашего, с некоторых корп. шлюзов.

Так как сканирование шло по требованию, то настройки закручивались на максимум. Эвристика включалась само собой.

Очень интересно, очень.

Хотелось бы увидеть это в форме развернутой статьи с указанием новеров версий, настроек и разбивкой количества детекта по сигнатурамэвристикомпроактивомт.д.

DWState, я ведь первоначально сделал развивку по некоторым вендорам, но в соседней ветке меня убедили, что это не совсем корректо все и ни о чем не говорит. Поэтому я привожу тут только суммарный детект. Если очень хочется, то потом могу привести разбиву по типам вердиктов в качестве "deep draft analysis".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Иван

Да симантека добавить и будет вполне полная картина

Сергей Ильин, да включите вы блин этот OSS в следующий раз, ну не чистое он антивирусное решение, ну ничего - будет в качестве так сказать бонуса, чтоб вопросы снять.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
А может Сергей просто не хочет позорить этих "2-3 ведущих ведущих (на российском рынке) security-вендоров" - ибо какие результаты покажет Outpost - я даже без теста представляю.

Четно говоря, были такие мотивы :) Но раз люди просят, придется видимо выложить результаты ...

Но в плане сравнения с ведущими компаниями их результат был бы тоже интересен. Например, чтобы показать пользователям каким продуктом НЕ надо пользоваться.

Ок, поставлю на вируталку, в след. раз будут данные и по ним. Но я почемуто не думаю, что это в интересах Виталия Я. и Agnitum :wink:

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!

Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.

Войти

  • Сообщения

    • santy
      согласен, не пользуюсь этим, (удалить только файл, из контекста на полном имени файла) потому наверное и забыл уже. использую только удаление файлов или объектов в контексте Инфо. те, что никак не вписываются в автоскрипт. тогда придется все контекстное меню переносить. например, кто-то захочет проверку на VT/VScan выполнить из Инфо, запретить запуск файла, добавить сигнатуру... и т.д. потому что если удалить сразу файл, то потом уже никак это не сделать.  
    • alamor
      Наугад потыкал на разных файлах, строка в Инфо удалить только сам файл была на всех начиная от системных файлов и заканчивая рассширением браузеров. Так что ваш вывод похоже ошибочен. А прочитать о чём изначально речь не пробовали? Речь как раз про то что это неудобно. Если ещё на одном файле посмотреть ладно, а если хотя бы пять или больше, то уже начинает надоедать туда сюда скакать и ещё после того как вернёшься из Инфо надо смотреть, чтобы случайно на другой строке не кликнуть. Так что наверно оптимальный вариант был бы: 1) Добавить туда по ПКМ список этих команд для тех, кто привык вставлять команды мышкой (вместо того чтобы вернуться в основной список и там ПКМ отдать команду сразу можно будет отдать её из этого окна). 2) Добавить в этом окне поддержку стандартных горячих клавиш удаления и карантина, для тех кто привык вставлять команды горячими клавишами.
    • santy
    • santy
      можно, но только через контекстное меню.  а это все то же дополнительное нажатие ПКМ + еще и стрелку вниз/вверх для выбора элемента меню+ click, так что не факт что это будет проще и быстрее. вообщем рационализация спорная, имхо. можно после просмотра Инфо вернуться в список и использовать уже настроенное меню всевозможных удалений.  
    • PR55.RP55
      Дело то не в этом. Дело в наличие команды:  " Удалить только сам файл" в меню Инфо. значит отдавать команды через меню Инфо. можно. ( Для системных файлов так ,или иначе уже реализована защита ссылок от удаления. ) Вернёмся к теме: " alamor пишет: неудобно, что посмотришь подробную инфу о файле по дабл-клику - примешь решение удалять его. И нельзя сразу из того же окна удалить его (или ссылки на него). Надо выходить из того окна и так. "  
×