Тест антивирусов по эффективности защиты от новейших вредоносных программ I

[Сергей Ильин 1538]

Коллеги, открытием этой темы хочу официально объявить о старте подготовки первого динамического тестирования антивирусов - "Тест антивирусов по эффективности защиты от новейших вредоносных программ (I)". Для нас важно ваше мнение по поводу методологии будущего теста, так как по результатам пробного старта было много вопросов и замечаний.

Текущая методология описана здесь

http://www.anti-malware.ru/node/885#meth

Продукты будут такие же, только актуальные версии. Исключение будет только Dr.Web Security Space (ранее был простой Антивирус DrWeb).

[zanuda 35]

Текущая методология описана здесь

http://www.anti-malware.ru/node/885#meth

Возвращаясь к вопросу о методологии, выскажу несколько идей. Надеюсь, они будут приняты уважаемыми собеседниками.

На мой взгляд, любое тестирование, сравнение, исследование важно своими результатами, в объективности коих не будет серьезных причин для сомнения, то есть которым можно доверять. Более того результаты которого можно проверить - воспрозвести. Таким образом я предлагаю использовать научный подход к методике тестирования. То что быо сделано безусловно любопытно похвально, однако, первооснова результатов скрыта. К сожалению...

Если мы будем брать отрасль тестирования или науку, то в обоих случаях нам понадобиться важные свойство результатов - достоверность.

Например, в тестировании нам важны воспроизводимость проблемы. А воспроизводимость нам может обеспечить ясное и однозначное толкование тест-кейса. И в научном эксперименте важны исходные данные. Не буду повторятся, все и так ясно.

(Подробнее о научных методах здесь: http://ru.wikipedia.org/wiki/%D0%9D%D0%B0%...82%D0%BE%D0%B4)

На мой взгляд любой вывод любого тестирования должен быть объективным. Это значит, методология быть понятной, а результаты воспроизводиться, в том числе сторонним экспериментом независимым наблюдателем.

Касательно темы данного топика, считаю нужным, нет, важным сделать следующие замечения:

1. Нужна подробная последовательность действий, которые сможет зафиксировать наблюдатель при эксперименте. Да, подробно, иду туда, кликаю там то, наблюдаю то. Плюс, согласно журналам снифера и т.п. вижу следующую активность. И так для каждого продукта. Вообще тестирование в реальной среде это особый вкус, у меня нет никакой уверенности что эксплойт будет срабатывать для одной и той же системы многократно.

То что было сделано в прошлом году, увы, похоже на домашнии фокусы. Уж простите.

Итак - прилагайте лабораторный журнал.

2. Давайте методику отделим фактов. То что было сделано, выявлено - это результаты. А вот план проверки, шаги, последовательность действий - это есть методика. Методики пока не видно, увы. (http://ru.wikipedia.org/wiki/%D0%9C%D0%B5%D1%82%D0%BE%D0%B4%D0%B8%D0%BA%D0%B0). Очевидно Методика должна включатьть в себя описание действий без относительно продукта и времени ее применения.

Итак - предоставьте объяснение плана тестирования - методику.

3. Небольшое замечание. Не стоит сожалеть, что в течении тестирования вышли новые версии продуктов, вышли и ладно. Они все время выходят. Нас же интересуют результат "на сейчас", но это нереально. Или хотя бы на конкретный момент времени "тогда".

Итак - нужен срез продуктов, и пусть обновлений на одну дату, что конечно же мы должны указать в описании результатов.

4. В тексте указано: "образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов". Итак - давайте покажем, какой из продуктов, что нашел, благодаря сигнатурному анализу перед началом тестирования.

5. Из п.4 следует, что нужно опубликовать информацию о зловредах, которые вошли в тестирование, какие были отброшены и почему, и достаточно кратко описать мотивы принятых решений.

Итак - нужен список зловредов попавших в тестирование

7. Было бы вероломным просить приложить сами зловреды, как приложение к тестированию. Ок, без проблем.

Однако решить проблему списка вполне возможно. Опубликуйте отчеты virustotal на дату тестирования вместе с контрольными суммами. Хотя бы.

Итак - нужна объективная информация о зловердах на момент начала тестирования.

8. Как в бухгалтерии баланс складывается с множества фактов.

Так и здесь публикуйте результаты по каждому зловреду для каждого продукта.

9. Поскольку сам процесс тестирования растянут по времени, то есть нам не получить результаты в realtime. Считаю нужным описать принцип работы каждой малвари на момент составления отчета. Именно в этом случае будет видны принципы проникновения и развертывания современного зверья. И реакция продуктов.

10. Давайте будем более объективными. Публикуйте процесс тестирования в реальном времени и история вас не забудет :-) Конкретно - дата начала тестирования. Набор малвари отобранной для тестирования, должен быть опубликован в момент начала эксперимента (конечно же идентификаторы). Тогда будет процесс тестирования более прозрачным, а значит заслуживать большее доверие читателей.

11. Тестирование проводилось в реальной жизни (это плюс), но реальная жизнь гетерогенна по своей сути - то есть настолько разнообразна, поэтому неповторима (это минус эксперимента). В реальной жизни мы не можем повторять одни те же действия с одним тем же результатом, поскольку внешние условия все время меняются. Мне кажется искуственная среда была бы интересным и веским доплнением к качеству результатов тестирования. Берем известные и актуальные методики внедрения и развертывания малвари в системе. Создаем программу-макет, имитирующую такой сценарий действий, но при этом, гарантированно не определяемую сигнатурными сканерами. В этом случае мы получаем искуственный эксперимент, гарантированно воспроизводимый и вполне себе показательный для оценки эффективности различных решений.

Предлагаю сформировать подобные тестовые приложения. Думаю квалификациии большинства участников форума хватит для решения этой задачи.

Надеюсь, мои пожелания будут учтены. Спасибо!

[grmv 0]

Насколько вижу компьютеры знакомых, у них основной сспособ заражения - через флешки. Патчи не стоят, автозапуск у всех включен. Есть ли смысл и возможность смоделировать такой канал заражения? Выделить отдельную машину без антивируса, погонять ее по интернету для заражения, и получить с нее инфицированные флешки.

[Deja_Vu 366]

жестоко, записывать проведение эксперемента.

хоть кто либо так делал вообще?

Приложить зловреды - невозможно.

Исхдоников эксплойтов никто не даст нам...

принцип работы каждой малвари

Если принцип работы некоторых, можно оценить по внешним проявлениям, то у части, только после изучения кода.

[zanuda 35]

жестоко, записывать проведение эксперемента.

хоть кто либо так делал вообще?

Не знаю, здесь не видел. А разве это трудно? Без протокола грустно как-то.

Приложить зловреды - невозможно.

Не надо зловредов, дайте репорт вирустотал. Это ведь возможно?

Если принцип работы некоторых, можно оценить по внешним проявлениям, то у части, только после изучения кода.

Давайте хотя бы внешнее проявлениям. Уже будет неплохо.

Отредактировал Май 12, 2009 zanuda

[Deja_Vu 366]

Не знаю, здесь не видел. А разве это трудно? Без протокола грустно как-то.

Не надо зловредов, дайте репорт вирустотал. Это ведь возможно?

Давайте хотя бы внешнее проявлениям. Уже будет неплохо.

1) Что еще за протоколы?

2) Вирустотал не может детектить эксплойты.

3) Легче бинарники выложить, что в принципе у вендеров было.

[Андрей-001 1099]

Не надо зловредов, дайте репорт вирустотал. Это ведь возможно?

Но рапорт VT меняется день ото дня, час от часа.

[Сергей Ильин 1538]

zanuda, благодарю за комментарии. Некоторые из них требуют объяснений с моей стороны.

Нужна подробная последовательность действий, которые сможет зафиксировать наблюдатель при эксперименте. Да, подробно, иду туда, кликаю там то, наблюдаю то.

Эта последовательность есть, она просто не было достаточно описана в статье - это минус. В этот раз мы это поправим и подробный сценарий теста будет вынесен на обсуждение уже на данном этапе.

Вообще тестирование в реальной среде это особый вкус, у меня нет никакой уверенности что эксплойт будет срабатывать для одной и той же системы многократно.

Так и есть, поэтому мы использовали специальные ухищрения (заходили с разных прокси), чтобы эксплойт срабатывал. Иначе тест просто не получится.

4. В тексте указано: "образцы вредоносных программ не должны были детектироваться файловыми антивирусами более чем 20% из списка тестируемых продуктов". Итак - давайте покажем, какой из продуктов, что нашел, благодаря сигнатурному анализу перед началом тестирования.

Согласен. Это не трудно сделать, а прозрачность теста будет гораздо выше.

5. Из п.4 следует, что нужно опубликовать информацию о зловредах, которые вошли в тестирование, какие были отброшены и почему, и достаточно кратко описать мотивы принятых решений.

Итак - нужен список зловредов попавших в тестирование

md5 мы опубликуем, а причина отбрасывания только одна - рубеж 20% детекта по Virustotal. Если есть предложения по другим критериям - предлагайте.

Однако решить проблему списка вполне возможно. Опубликуйте отчеты virustotal на дату тестирования вместе с контрольными суммами. Хотя бы.

Согласен. Этот список у нас есть в полном отчете о тесте (в формате Excel), там есть md5. Можно дать еще ссылки на Virustotal.

Так и здесь публикуйте результаты по каждому зловреду для каждого продукта.

Это есть опять таки в полном отчете о тесте (в формате Excel).

Насколько вижу компьютеры знакомых, у них основной способ заражения - через флешки. Патчи не стоят, автозапуск у всех включен. Есть ли смысл и возможность смоделировать такой канал заражения?

Статистика всех вендоров говорит о том, что веб как канал заражения сейчас вне конкуренции. Проверка зараженных флешек - это немного другая задача. Я бы ее посмотрел отдельно.

[Deja_Vu 366]

такс, какая будет система?

ОС: XP SP3

Броузер: IE7

?

Просто на данный момент очень тяжелая ситуация с броузерами.

IE6 выравнился с Оперой и Fx

А IE7 чуток впереди.

[vaber 350]

такс, какая будет система?

ОС: XP SP3

Броузер: IE7

?

Лучше поставить вопрос иначе: система должна быть полностью пропатченная на момент теста или же непатченная (например, голый XP SP2)? Если первый вариант - на эксплоитах можно не тестировать - будет нулевый пробив и как бы все продукты защиты получат плюсы (или ось? ) Ну если только в друг 0-day не появится ).

Надо прежде всего отталкиваться, что заражаются через веб только пользователи не патченных машин (при условии, что они сами не содействуют заражению, запуская приложения пришедшее по емейлу, например).

Поэтому мое предложение - использовать голый SP2. Плюс самых поставить самые распространенные приложения, на которые часто приходится атака - старый флеш-плеер, акробат 8-ой, winzip старый, AOL, QuickTime 4 .

Просто на данный момент очень тяжелая ситуация с броузерами.

IE6 выравнился с Оперой и Fx

А IE7 чуток впереди.

Это где такая статистика? Можно линку глянуть?

[Андрей-001 1099]

IE6 выравнился с Оперой и Fx

А IE7 чуток впереди.

Это где такая статистика? Можно линку глянуть?

Пожалуйста: http://blog.spylog.ru/2009/04/podrobnaya-statistika.html

[Сергей Ильин 1538]

Поэтому мое предложение - использовать голый SP2. Плюс самых поставить самые распространенные приложения, на которые часто приходится атака - старый флеш-плеер, акробат 8-ой, winzip старый, AOL, QuickTime 4 .

Соглашусь, так будет нагляднее видна работа самого антивируса, а не ОС или патчей. Цель теста проверить насколько антивирусы способны противостоять новейшим угрозам, 0-day если хотите, это подразумевает, что никаких патчей еще нет.

Тогда меняем методологию исходя из этого. Есть возражения?

такс, какая будет система?

Можно было бы взять Vista, кстати. Что думаете?

[Deja_Vu 366]

Можно было бы взять Vista, кстати. Что думаете?

Хм ... а как же тогда быть с UAC?

[Илья Рабинович 521]

Можно было бы взять Vista, кстати. Что думаете?

Стоит посмотреть на распространённость этой OC на террирории СНГ. Плюс, было бы хорошо посмотреть на статистику по отключению UAC.

[Deja_Vu 366]

Стоит посмотреть на распространённость этой OC на террирории СНГ. Плюс, было бы хорошо посмотреть на статистику по отключению UAC.

http://trends.spylog.ru/global-statistic-o...r=1%252C2%252C3

А вот по счет UAC - думаю, только MS имеет ти данные.

[Андрей-001 1099]

Deja_Vu

Точно. Ставим галочку хоть на Windows7 и видим как она ползёт.

UAC - думаю, только MS имеет ти данные

Где-то я и это видел. Если б знать заранее, что понадобится...

Может быть где-то на http://blogs.msdn.com/cjacks

Помню только, что примерно у 80% UAC остаётся включенным после покупки.

[Сергей Ильин 1538]

15% на Windows Vista - не густо. В общем все ясно, пока что тесты стоит проводить на XP.

Суммируем по платформе: Windows XP SP2 (без патчей), Acrobat 8, старый флеш-плеер, Winzip, AOL, QuickTime 4.

Кстати, Office ставим или нет? Если да, то какой?

[Андрей-001 1099]

Вот, к примеру, инженерный блог по UAC по разным вопросам для Vista-Win7

http://blogs.msdn.com/e7/archive/2008/10/0...nt-control.aspx (с графиками и комментариями).

Office ставим или нет?

Чаще всё-таки у пользователей стоят Office XP и 2003 (по моим наблюдениям). Предлагаешь 2007 - не все хотят.

[Deja_Vu 366]

15% на Windows Vista - не густо. В общем все ясно, пока что тесты стоит проводить на XP.

Winzip, AOL,

AOL - что это?

Winzip? WinRAR мне кажется у большего кол-ва пользователей стоит.

[Андрей-001 1099]

Acrobat 8, старый флеш-плеер, Winzip, AOL, QuickTime 4.

Какой-то ино/странный набор.

Хотя он, наверное, точно отражает дырявость (непропатченность) и нечищенность системы.

WinRAR мне кажется у большего кол-ва пользователей стоит.

Так и есть. И у многих с нагом (nagware).

[vaber 350]

AOL - что это?

http://ru.wikipedia.org/wiki/AOL_Instant_Messenger

В США популярен.

Winzip? WinRAR мне кажется у большего кол-ва пользователей стоит.

У нас да, а вот по всему земному шару я не берусь сказать

З.Ы. в общем говоря, все эти приложения использовать - избыточно. Нужно делать ограничение на некий один-два эксплоита. Хотя и это не будет отражать все реальности картины так сказать .

Пример: у меня есть защитная программа А. У меня все пропатчено, кроме акробата - на его обновление я забил. В итоге, гуляя по порн...по инету я попал на инфицированную страницу, которая направила мой браузер на сайт с неким эксплоит тулктом. Там оказался эксплоит под мой акробат и мой антивирус А обнаружил в pdf-эксплоите угрозу (скрипт внутрри pdf) и заблокировал передачу pdf с вредоносным скриптом внутри на мой ПК или прибил допустим на диске. Я не заразился. Теперь представим эту же картину с немного другой стороны - у меня не был пропатчен браузер (берем IE6 на голом SP2). Я попал на туже инфицированную страницу, меня перекинули на тот же сайт с эксплоит-тулкитом. Поскольку браузер не патченный - эксплоит подбирается под него, и, например, срабатывает MDAC-эксплоит. сигнатуры заблокировать этот эксплоит у антивирус А не оказалось (ну или любой другой технологии, которая бы препятствовала пробиву эксплоитом). В итоге я заражен.

Вот и получается, что в зависимости от того, какой нам подсунут эксплоит картина с результатами может кардинально отличаться. Поскольку эксплоитов дофига, то каждый перебирать и использовать машину со всеми патчами кроме одного, чтобы проверить как конкретный защитный продукт блокирует все варианты возможные - нет возможности. Вот и получается. что мы должны выбрать некий экземпляр системы с софтом и патчами. И результаты теста будут соответствовать конкретно этой системе с набором софта. С другими приложениями результат может быть совершенно другой. Вот такая загогулина понимаешь...

[Андрей-001 1099]

vaber

Всё становится понятно, когда кто-нибудь популярно объяснит. (Как у классиков)

[Deja_Vu 366]

Windows XP понимает zip формат, так что даже не знаю, ставят ли winzip вообще -))

остальное то понятно.

Но мы же хотим "измерить" возможности HIPSо содержащего продукта, а не способность системы защитить себя.

[Ingener 150]

http://ru.wikipedia.org/wiki/AOL_Instant_Messenger

В США популярен.

У нас да, а вот по всему земному шару я не берусь сказать

З.Ы. в общем говоря, все эти приложения использовать - избыточно. Нужно делать ограничение на некий один-два эксплоита. Хотя и это не будет отражать все реальности картины так сказать .

Пример: у меня есть защитная программа А. У меня все пропатчено, кроме акробата - на его обновление я забил. В итоге, гуляя по порн...по инету я попал на инфицированную страницу, которая направила мой браузер на сайт с неким эксплоит тулктом. Там оказался эксплоит под мой акробат и мой антивирус А обнаружил в pdf-эксплоите угрозу (скрипт внутрри pdf) и заблокировал передачу pdf с вредоносным скриптом внутри на мой ПК или прибил допустим на диске. Я не заразился. Теперь представим эту же картину с немного другой стороны - у меня не был пропатчен браузер (берем IE6 на голом SP2). Я попал на туже инфицированную страницу, меня перекинули на тот же сайт с эксплоит-тулкитом. Поскольку браузер не патченный - эксплоит подбирается под него, и, например, срабатывает MDAC-эксплоит. сигнатуры заблокировать этот эксплоит у антивирус А не оказалось (ну или любой другой технологии, которая бы препятствовала пробиву эксплоитом). В итоге я заражен.

Вот и получается, что в зависимости от того, какой нам подсунут эксплоит картина с результатами может кардинально отличаться. Поскольку эксплоитов дофига, то каждый перебирать и использовать машину со всеми патчами кроме одного, чтобы проверить как конкретный защитный продукт блокирует все варианты возможные - нет возможности. Вот и получается. что мы должны выбрать некий экземпляр системы с софтом и патчами. И результаты теста будут соответствовать конкретно этой системе с набором софта. С другими приложениями результат может быть совершенно другой. Вот такая загогулина понимаешь...

Может лучше тогда использовать вообще непатченную систему и программы тоже не обновлять, т.к. у многих дорогой трафик и они почти ничего не обновляют.

[Deja_Vu 366]

А вообще, зачем ставить программы, которые не взаимодействуют с броузером, аля AOL

Разе он является COM объектом или же имеет свой адресный поток, аля steam: "steam://"?

У него же нет точек соприкосновения с броузером.

Если Архиватор еще как то может повлиять, при перехвате файла, то IM месенджеры, вроде никак не могут.

На счет акробат ридера, тоже хотелось бы где нить статистику по версиям посмотреть.

Т.к. у многих моих знакомых или вообще 5 версия или ФокситРидер....