Перейти к содержанию
Andrey75

Как приблизить "синтетические тесты" к реальным условиям

Recommended Posts

Andrey75

Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Методики тестов конечно нужно улучшать. Но к "боевым" условиям, то есть условиям максимально отражающие работу пользователя, врядли удасться подогнать методику. Тестируют в основном компоненты антивирусов - сигнатурный детект, эвристика, лечение... Что касается лечения - он максимально приближен к "боевым". Сигнатур ный - не очень близок - потому как 0-day малварь. которой зачастую и заражаются пользователи - почти никем не детектируется на момент заражения.

Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь? Отключать файловый антивирус для имитации заражения неизвестным вредоносом? А как же тогда эвристика? Она тоже будет отключена ведь. И таких вопрос много и они не разрешимы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь?

Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вот как раз не все просто :) Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами? Антивирь пропустит, фаер нет... Можно и еще кучу вопросов придумать :) Да и нынче не вся малварь через эксплоиты лезет - кто-то сам скачивает под видом кряка инета и запускает, через USB, через уязвимости ОС в сети и т.п.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

То есть, конфигурация 2004 года ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
То есть, конфигурация 2004 года ?

То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

Для простого юзера, не знающего про безопасность ничего- самое оно. Ведь всё работает! Зачем что-то менять?

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

Windows Updates обычно отключён из-за WGA, а я не могу бегать по всем и устанавливать патчи. Да и не понимают люди ничего в безопасности- они простые пользователи MS Word и Skype. Ну и, плюс, развивающие игры для детей...

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Цитата(A. @ 03.03.2008, 1:17) *

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

По браузерам:

1. Internet Explorer 47,35 %

2. Opera 29,05 %

3. Firefox 22,05 %

По ОС:

1. Windows 96,83 %

2. Linux 1,23 %

4. FreeBSD 0,28 %

5. Macintosh 0,25 %

6. SymbianOS 0,08 %

Java поддерживает около 81% пользователей.

Жалко нет статистики по версиям ПО :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
6. SymbianOS 0,08 %

Это был я :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
А что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Илья, почему сразу неправильная? :)

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Но эти результаты также можно считать "неправильными", поэтому предлагаю делать выводы на совокупности имеющихся результатов исследований :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Глобальную статистику по рунету можно посмотреть тут

http://globalstats.hotlog.ru/

Данные HotLog можно считать репрезентативными, охват сайтов них большой.

Windows XP 60.00%

Windows 2000-2003 17.09%

Windows other 20.74% (это видимо Виста :))

MSIE 6.0 71.41%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Windows other 20.74% (это видимо Виста smile.gif)

Ещё достаточно много в инет и с Windows 98/Me выходят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Илья, почему сразу неправильная?

Потому что она идёт на основе людей, который сюда заходят. А они или интересуются безопасностью, или это их профессия.

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Лады, попробую, но не скажу когда- я сегодня заболел, так что я временно в ауте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

http://www.liveinternet.ru/stat/ru/oses.html?period=month - более репрезентативна выборка Liveinternet. по ней XP вообще зарулила всех. Vista - всего 6,3%. неизвестная система (за фаерволом - или счетчик недогрузился) - 3,9%. Win2K, Win98 и Win2003 тоже не стоит сбрасывать со счетов, но все "маргинальные" версии Windows - не более 6 по счетчику (10 - в пике с учетом "неизвестных") %-ов в сумме.

Итак, значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Windows XP 11,630,022 84.1% 11,921,839 83.9% 11,320,573 84.2%

Windows Vista 989,429 7.2% 918,600 6.5% 851,992 6.3%

неизвестна 515,513 3.7% 583,875 4.1% 524,911 3.9%

Windows 2000 309,492 2.2% 378,980 2.7% 356,295 2.7%

Windows 98 106,056 0.8% 121,253 0.9% 117,732 0.9%

Windows 2003 89,378 0.6% 102,528 0.7% 95,040 0.7%

Unix 69,714 0.5% 74,316 0.5% 69,169 0.5%

Windows CE 49,483 0.4% 48,380 0.3% 46,827 0.3%

MacOS 49,014 0.4% 50,121 0.4% 48,404 0.4%

Доля браузеров: http://www.liveinternet.ru/stat/ru/browser...ml?period=month - 43,0% за MSIE 6, 24,7% за MSIE7.

"Секьюрные" и "продвинутые" сидят в основном в Опере и в Фаерфоксе 2 - по 13,1%, что "сделало" 7-ой ИЕ. Так вот!

март 2008 г.

отчет: количество посетителей с разными браузерами по дням | по неделям | по месяцам

значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Explorer 6 5,582,359 40.4% 6,023,779 42.4% 5,787,589 43.0%

Explorer 7 3,569,747 25.8% 3,451,588 24.3% 3,189,030 23.7%

Opera 9 1,957,845 14.2% 1,900,441 13.4% 1,766,424 13.1%

Firefox 2 1,861,465 13.5% 1,844,397 13.0% 1,760,489 13.1%

Opera Mini 219,720 1.6% 305,870 2.2% 273,559 2.0%

Opera 8 137,741 1.0% 145,380 1.0% 140,839 1.0%

Firefox 1 120,584 0.9% 129,760 0.9% 127,598 0.9%

Explorer 5 95,046 0.7% 114,412 0.8% 108,842 0.8%

Другие 75,522 0.5% 85,026 0.6% 82,027 0.6%

Safari 2 60,486 0.4% 56,720 0.4% 52,904 0.4%

Mozilla 1 45,832 0.3% 47,684 0.3% 45,439 0.3%

Opera 7 38,634 0.3% 41,639 0.3% 41,280 0.3%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами?

Возвращаюсь к основной теме топика. Я эти вопросы обсуждал вчера на встрече с Адреасом Клименти. Такого рода тест условно обозначен как динамический (Dinamic Anti-Virus Test). Ни у меня ни у Андреса пока нет четкого понимания как его проводить. Основная проблема - это отбор самплов (линков). Какие источники при этом использовать? Самплы организовывать в коллекцию или ходить прямо по источникам? Знаю, скажите, что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл. Методологических дыр немеренно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл.

так узнать что там - очень просто. Проблема в другом - как мотивировать выбор этих самых линков и как объяснить почему малварь, которая загружается с них детектируетцся некоторыми антивирусами. То есть - такой тест легко подогнать - скачиваем малварь, отправляем определенному вендору, тот добавляет сигнатуру - и ОПА! - малварь убивается еще не ставши в системе. И как воспроизвести такой тест? Если через день-два линка уже будет мертва.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

Мы забыли про ещё один способ заражения компьютера - установка кряков(патчей и т.д.).

Я предлагаю следующий вариант проведения теста

1. выбрать наиболее распространённый софт (где то 150-200 программ)

2. скачать к каждой программе (последние версии) по 5-10 кряков.

3. проанализировать этот "зоопарк"

Если учесть, что, по крайней мере, 20-30% кряков с «сюрпризом» у нас будет ~ 200-300 образцов. Чего вполне достаточно для составления реального рейтинга антивирусников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Ну так достаточно сунуться в любой файлообменник- там такого добра навалом!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
То есть - такой тест легко подогнать.

Любой тест можно подогнать- например, позаимствовать коллекцию у конкретного производителя или брать линки на зловреды из числа тех, что забиты в их онлайновые мониторы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Тут больше проблема в воспроизводимости и обоснования выбора той или иной линки. Да и в подобном тесте будет отражаться работа на некой определенной системе - например XP SP2, IE, без патчей и с виндовым фаерволом. И на ней поставлен каждый тестируемый продукт. Только вот вопрос - как много людей работает именно на такой системе? Даже если принять процент за 50 - то все-равно смысла такого теста нету.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Тогда можно сделать всё гораздо проще- ходить по всем линкам, анализировать зловредный контент и воспроизводить его на собственном сервере.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Dmitrius
      Арбитражный управляющий Каждый может оказаться в такой ситуации, когда требуется профессиональная и своевременная поддержка юриста. Если и вы вынуждены стать банкротом и оформить это по закону, то необходимо обратиться за такой услугой в центр банкротства. В компании работают квалифицированные специалисты с большим опытом, а в их багаже большое количество успешно завершенных дел. Именно поэтому вы сможете надеяться на отличный результат. Важно учесть тот момент, что специалисты детально изучают вопрос для того, чтобы подробно рассмотреть вопрос, после чего выявить возможности благоприятного результата. Списать долги Волгоград (Списание кредитов) получится по закону. Нет необходимости в том, чтобы переживать за процесс. Так специалисту удастся списать те долги, которые вы не в силах выплатить. Увы, но этот процесс может занять несколько месяцев, к тому же он не бесплатный. Банкротство физических лиц в Волгограде ведет компетентный сотрудник – он добросовестно и ответственно подойдет к решению вопроса. Он будет защищать интересы клиента, руководствуясь Конституцией. Юрист по банкротству займется оформлением документов и заявления, подготовит все факты в пользу того, чтобы объявить вас неплатежеспособным. Опыт сотрудников позволяет браться за дела различной сложности. Арбитражный управляющий Волгоград поможет вам избавиться от долгов. Что касается расценок, то на них влияют самые разные факторы, включая расходы на законодательном уровне. Подписывается договор на указание услуг – в нем указываются обязанности каждой стороны, набор услуг. Юрист рассмотрит все аспекты вашего дела. Важным моментом является то, что все ваши долги будут списаны в полном объеме при положительном исходе дела. Специалист использует все ресурсы, которые потребуются для того, чтобы получить положительный результат.
    • Dmitrius
      Септик в Москве и Московской области Компания долгое время и на выгодных условиях оказывает услуги, связанные со строительством автономной канализации в Москве и области. Если Вам необходима выгребная яма – ознакомьтесь с интересующей информацией на официальном портале. Автономная канализация, организованная на дачном участке, положительно влияет на уровень комфорта. Несмотря на то, планируется ли круглый год проживать на участке или только летом, вы почувствуете удобство. Цену на ее установку вы сможете узнать на сайте. Компания длительное время работает в данной сфере, а потому предлагает только выгодные условия, доступные цены, а сами работы выполняются быстро, аккуратно и в наиболее комфортное время. Она наладила сотрудничество с проверенными и надежными поставщиками оборудования. Специалисты создадут высокотехнологичную и работающую систему под ключ. В работе используются только надежные, качественные материалы, выполняются технологические условия. Если говорить о ценах, то они остаются на среднем уровне, а потому воспользоваться услугой смогут все, кто хочет. Кольцевой накопитель отлично подходит для сбора сточных вод при условии, что в доме на постоянной основе проживают до 7 человек. Все работы будут выполнены в минимальные сроки и тогда, когда это удобно именно вам. С собой будут все необходимые инструменты, а также материалы. Сотрудники осуществят установку и выполнят все нужные работы. При появлении вопросов задайте их сотрудникам, которые все пояснят, а также определят общую стоимость работ. Специалисты выполнят все необходимые работы, несмотря на время года. Отсутствуют дополнительные наценки, переплаты, только прозрачные условия сотрудничества.
    • Ramonsmaps
      Over the years of independence, the institute has trained more than 13000 physicians (including 800 clinical interns, 1116 masters, 200 postgraduates and 20 doctoral students) in various directions.

      870 staff work at the institute at present,[when?] including 525 professorial-teaching staff in 55 departments, 34 of them are Doctors of science and 132 candidates of science. 4 staff members of the professorial-teaching staff of the institute are Honoured Workers of Science of the Republic of Uzbekistan, 3 – are members of New-York and 2 – members of Russian Academy of Pedagogical Science.

      The institute has been training medical staff on the following faculties and directions: Therapeutic, Pediatric, Dentistry, Professional Education, Preventive Medicine, Pharmacy, High Nursing Affair and Physicians’ Advanced Training. At present[when?] 3110 students have been studying at the institute (1331 at the Therapeutic faculty, 1009 at the Pediatric, 358 at the Dentistry, 175 students at the Professional Education Direction, 49 at the faculty of Pharmacy, 71 at the Direction of Preventive Medicine, 117 ones study at the Direction of High Nursing Affair).

      Today graduates of the institute are trained in the following directions of master's degree: obstetrics and gynecology, therapy (with its directions), otorhinolaryngology, cardiology, ophthalmology, infectious diseases (with its directions), dermatovenereology, neurology, general oncology, morphology, surgery (with its directions), instrumental and functional diagnostic methods (with its directions), neurosurgery, public health and public health services (with its directions), urology, narcology, traumatology and orthopedics, forensic medical examination, pediatrics (with its directions), pediatric surgery, pediatric anesthesiology and intensive care, children's cardiology and rheumatology, pediatric neurology, neonatology, sports medicine.

      The clinic of the institute numbers 700 seats and equipped with modern diagnostic and treating instrumentations: MRT, MSCT, Scanning USI, Laparoscopic Center and others.

      There are all opportunities to carry out sophisticated educational process and research work at the institute.

      Source:
      https://adti.uz/magistratura/
      medical institutes of uzbekistan

      Tags:
      medical institutes of uzbekistan
      regional scientific medical library
      electronic library of a medical student
      electronic medical library official website
    • Dmitrius
      Сервис подбора и сравнение кредитов Случается так, что деньги нужны срочно. Поэтому если у вас нет накоплений, рациональней всего обратиться за помощью на этот сайт, где собраны надежные, проверенные банки, которым точно можно доверять. Учреждения подготовили лучшие предложения, которые только возможны. На этом сайте есть возможность подобрать кредит, а также оформить займ либо взять деньги на приобретение автомобиля. И самое главное, что все это на наиболее выгодных для вас условиях. Автокредит Казахстан проценты - это шанс купить все, что нужно, не отказывая себе в покупке. Все банковские продукты различаются требованиями, условиями выдачи, а потому рекомендуется детально изучить условия договора и особенности выдачи денежных средств. Потребительский кредит оформить (рассчитать) в Алматы получится в данный момент. На этом сайте вы сможете не только подобрать подходящий вариант, но и сравнить имеющиеся. Затем следует определиться с тем, в какой банк обратиться за материальной поддержкой. Составить заявку на выдачу средств можно в режиме реального времени. Кредит наличными заявка онлайн выдается в течение часа наиболее комфортным для вас способом. На портале опубликован список всех доступных предложений, имеется необходимая информация о каждом банке и кредитах. Выберете самую низкую процентную ставку, а также сумму и сроки, на которые планируете занять сумму. Все максимально просто, быстро и понятно. Ипотека проценты Казахстан (ипотека Казахстан) - это отличная возможность решить свои жилищные проблемы. Важно помнить о том, что лишь надежные компании с огромным опытом готовы предложить приемлемые условия. Выберете подходящий для себя банковский продукт, чтобы поправить материальное положение.
    • Dmitrius
      Интернет магазин автозапчастей  Интернет-магазин «AUTOSHOP» реализует внушительный выбор деталей на автомобили - их можно подобрать не только по наименованию, но и артикулу и другим параметрам. Имеются разные запчасти на любые автомобили самых разных марок и моделей - вы сможете их найти в один клик. Запчасти находятся на складе - это дает возможность осуществить быструю транспортировку. Сотрудничество исключительно с надежными, проверенными поставщиками, которые работают на совесть и предлагают продукцию безупречного качества и с длительными эксплуатационными сроками. Автозапчасти интернет магазин для иномарок рекомендует ознакомиться с полным ассортиментом – он даст возможность подобрать вариант с учетом обозначенных требований. Перед тем, как осуществить приобретение, необходимо детально изучить технические аспекты, ведь именно они влияют на сроки эксплуатации и внешний вид авто. Но если вам требуется помощь специалиста, то вы всегда можете воспользоваться профессиональной консультацией. Автозапчасти для иномарок Курск вы обязательно подберете для любой машины, несмотря на год производства. Изучите справочник автотоваров, каталог, а также новости, представленные на данную тематику - информация поможет принять правильное решение. Сотрудники интернет-магазина быстро реагируют на появление новых деталей в европейских магазинах для того, чтобы в ближайшее время пополнить ими свой ассортимент. Это даст возможность быстро среагировать за изменяющуюся ситуацию. Каталог автозапчастей Курск содержит огромный перечень деталей. Они созданы в соответствии с самыми высокими стандартами, нормами, требованиями. Администрация проверяет запчасти на соответствие заданным характеристикам, поэтому в продажу попадает только та продукция, которая имеет сопроводительную документацию, сертификаты. На продукцию есть гарантии, подтверждающие безупречное качество, оригинальность.
×