Перейти к содержанию
Andrey75

Как приблизить "синтетические тесты" к реальным условиям

Recommended Posts

Andrey75

Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Методики тестов конечно нужно улучшать. Но к "боевым" условиям, то есть условиям максимально отражающие работу пользователя, врядли удасться подогнать методику. Тестируют в основном компоненты антивирусов - сигнатурный детект, эвристика, лечение... Что касается лечения - он максимально приближен к "боевым". Сигнатур ный - не очень близок - потому как 0-day малварь. которой зачастую и заражаются пользователи - почти никем не детектируется на момент заражения.

Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь? Отключать файловый антивирус для имитации заражения неизвестным вредоносом? А как же тогда эвристика? Она тоже будет отключена ведь. И таких вопрос много и они не разрешимы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь?

Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вот как раз не все просто :) Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами? Антивирь пропустит, фаер нет... Можно и еще кучу вопросов придумать :) Да и нынче не вся малварь через эксплоиты лезет - кто-то сам скачивает под видом кряка инета и запускает, через USB, через уязвимости ОС в сети и т.п.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

То есть, конфигурация 2004 года ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
То есть, конфигурация 2004 года ?

То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

Для простого юзера, не знающего про безопасность ничего- самое оно. Ведь всё работает! Зачем что-то менять?

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

Windows Updates обычно отключён из-за WGA, а я не могу бегать по всем и устанавливать патчи. Да и не понимают люди ничего в безопасности- они простые пользователи MS Word и Skype. Ну и, плюс, развивающие игры для детей...

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Цитата(A. @ 03.03.2008, 1:17) *

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

По браузерам:

1. Internet Explorer 47,35 %

2. Opera 29,05 %

3. Firefox 22,05 %

По ОС:

1. Windows 96,83 %

2. Linux 1,23 %

4. FreeBSD 0,28 %

5. Macintosh 0,25 %

6. SymbianOS 0,08 %

Java поддерживает около 81% пользователей.

Жалко нет статистики по версиям ПО :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
6. SymbianOS 0,08 %

Это был я :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
А что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Илья, почему сразу неправильная? :)

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Но эти результаты также можно считать "неправильными", поэтому предлагаю делать выводы на совокупности имеющихся результатов исследований :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Глобальную статистику по рунету можно посмотреть тут

http://globalstats.hotlog.ru/

Данные HotLog можно считать репрезентативными, охват сайтов них большой.

Windows XP 60.00%

Windows 2000-2003 17.09%

Windows other 20.74% (это видимо Виста :))

MSIE 6.0 71.41%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Windows other 20.74% (это видимо Виста smile.gif)

Ещё достаточно много в инет и с Windows 98/Me выходят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Илья, почему сразу неправильная?

Потому что она идёт на основе людей, который сюда заходят. А они или интересуются безопасностью, или это их профессия.

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Лады, попробую, но не скажу когда- я сегодня заболел, так что я временно в ауте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

http://www.liveinternet.ru/stat/ru/oses.html?period=month - более репрезентативна выборка Liveinternet. по ней XP вообще зарулила всех. Vista - всего 6,3%. неизвестная система (за фаерволом - или счетчик недогрузился) - 3,9%. Win2K, Win98 и Win2003 тоже не стоит сбрасывать со счетов, но все "маргинальные" версии Windows - не более 6 по счетчику (10 - в пике с учетом "неизвестных") %-ов в сумме.

Итак, значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Windows XP 11,630,022 84.1% 11,921,839 83.9% 11,320,573 84.2%

Windows Vista 989,429 7.2% 918,600 6.5% 851,992 6.3%

неизвестна 515,513 3.7% 583,875 4.1% 524,911 3.9%

Windows 2000 309,492 2.2% 378,980 2.7% 356,295 2.7%

Windows 98 106,056 0.8% 121,253 0.9% 117,732 0.9%

Windows 2003 89,378 0.6% 102,528 0.7% 95,040 0.7%

Unix 69,714 0.5% 74,316 0.5% 69,169 0.5%

Windows CE 49,483 0.4% 48,380 0.3% 46,827 0.3%

MacOS 49,014 0.4% 50,121 0.4% 48,404 0.4%

Доля браузеров: http://www.liveinternet.ru/stat/ru/browser...ml?period=month - 43,0% за MSIE 6, 24,7% за MSIE7.

"Секьюрные" и "продвинутые" сидят в основном в Опере и в Фаерфоксе 2 - по 13,1%, что "сделало" 7-ой ИЕ. Так вот!

март 2008 г.

отчет: количество посетителей с разными браузерами по дням | по неделям | по месяцам

значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Explorer 6 5,582,359 40.4% 6,023,779 42.4% 5,787,589 43.0%

Explorer 7 3,569,747 25.8% 3,451,588 24.3% 3,189,030 23.7%

Opera 9 1,957,845 14.2% 1,900,441 13.4% 1,766,424 13.1%

Firefox 2 1,861,465 13.5% 1,844,397 13.0% 1,760,489 13.1%

Opera Mini 219,720 1.6% 305,870 2.2% 273,559 2.0%

Opera 8 137,741 1.0% 145,380 1.0% 140,839 1.0%

Firefox 1 120,584 0.9% 129,760 0.9% 127,598 0.9%

Explorer 5 95,046 0.7% 114,412 0.8% 108,842 0.8%

Другие 75,522 0.5% 85,026 0.6% 82,027 0.6%

Safari 2 60,486 0.4% 56,720 0.4% 52,904 0.4%

Mozilla 1 45,832 0.3% 47,684 0.3% 45,439 0.3%

Opera 7 38,634 0.3% 41,639 0.3% 41,280 0.3%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами?

Возвращаюсь к основной теме топика. Я эти вопросы обсуждал вчера на встрече с Адреасом Клименти. Такого рода тест условно обозначен как динамический (Dinamic Anti-Virus Test). Ни у меня ни у Андреса пока нет четкого понимания как его проводить. Основная проблема - это отбор самплов (линков). Какие источники при этом использовать? Самплы организовывать в коллекцию или ходить прямо по источникам? Знаю, скажите, что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл. Методологических дыр немеренно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл.

так узнать что там - очень просто. Проблема в другом - как мотивировать выбор этих самых линков и как объяснить почему малварь, которая загружается с них детектируетцся некоторыми антивирусами. То есть - такой тест легко подогнать - скачиваем малварь, отправляем определенному вендору, тот добавляет сигнатуру - и ОПА! - малварь убивается еще не ставши в системе. И как воспроизвести такой тест? Если через день-два линка уже будет мертва.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

Мы забыли про ещё один способ заражения компьютера - установка кряков(патчей и т.д.).

Я предлагаю следующий вариант проведения теста

1. выбрать наиболее распространённый софт (где то 150-200 программ)

2. скачать к каждой программе (последние версии) по 5-10 кряков.

3. проанализировать этот "зоопарк"

Если учесть, что, по крайней мере, 20-30% кряков с «сюрпризом» у нас будет ~ 200-300 образцов. Чего вполне достаточно для составления реального рейтинга антивирусников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Ну так достаточно сунуться в любой файлообменник- там такого добра навалом!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
То есть - такой тест легко подогнать.

Любой тест можно подогнать- например, позаимствовать коллекцию у конкретного производителя или брать линки на зловреды из числа тех, что забиты в их онлайновые мониторы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Тут больше проблема в воспроизводимости и обоснования выбора той или иной линки. Да и в подобном тесте будет отражаться работа на некой определенной системе - например XP SP2, IE, без патчей и с виндовым фаерволом. И на ней поставлен каждый тестируемый продукт. Только вот вопрос - как много людей работает именно на такой системе? Даже если принять процент за 50 - то все-равно смысла такого теста нету.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Тогда можно сделать всё гораздо проще- ходить по всем линкам, анализировать зловредный контент и воспроизводить его на собственном сервере.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

×