Andrey75

Как приблизить "синтетические тесты" к реальным условиям

В этой теме 38 сообщений

Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Методики тестов конечно нужно улучшать. Но к "боевым" условиям, то есть условиям максимально отражающие работу пользователя, врядли удасться подогнать методику. Тестируют в основном компоненты антивирусов - сигнатурный детект, эвристика, лечение... Что касается лечения - он максимально приближен к "боевым". Сигнатур ный - не очень близок - потому как 0-day малварь. которой зачастую и заражаются пользователи - почти никем не детектируется на момент заражения.

Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь? Отключать файловый антивирус для имитации заражения неизвестным вредоносом? А как же тогда эвристика? Она тоже будет отключена ведь. И таких вопрос много и они не разрешимы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь?

Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вот как раз не все просто :) Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами? Антивирь пропустит, фаер нет... Можно и еще кучу вопросов придумать :) Да и нынче не вся малварь через эксплоиты лезет - кто-то сам скачивает под видом кряка инета и запускает, через USB, через уязвимости ОС в сети и т.п.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

То есть, конфигурация 2004 года ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
То есть, конфигурация 2004 года ?

То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

Для простого юзера, не знающего про безопасность ничего- самое оно. Ведь всё работает! Зачем что-то менять?

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

Windows Updates обычно отключён из-за WGA, а я не могу бегать по всем и устанавливать патчи. Да и не понимают люди ничего в безопасности- они простые пользователи MS Word и Skype. Ну и, плюс, развивающие игры для детей...

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Цитата(A. @ 03.03.2008, 1:17) *

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

По браузерам:

1. Internet Explorer 47,35 %

2. Opera 29,05 %

3. Firefox 22,05 %

По ОС:

1. Windows 96,83 %

2. Linux 1,23 %

4. FreeBSD 0,28 %

5. Macintosh 0,25 %

6. SymbianOS 0,08 %

Java поддерживает около 81% пользователей.

Жалко нет статистики по версиям ПО :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
А что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Илья, почему сразу неправильная? :)

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Но эти результаты также можно считать "неправильными", поэтому предлагаю делать выводы на совокупности имеющихся результатов исследований :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Глобальную статистику по рунету можно посмотреть тут

http://globalstats.hotlog.ru/

Данные HotLog можно считать репрезентативными, охват сайтов них большой.

Windows XP 60.00%

Windows 2000-2003 17.09%

Windows other 20.74% (это видимо Виста :))

MSIE 6.0 71.41%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Windows other 20.74% (это видимо Виста smile.gif)

Ещё достаточно много в инет и с Windows 98/Me выходят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья, почему сразу неправильная?

Потому что она идёт на основе людей, который сюда заходят. А они или интересуются безопасностью, или это их профессия.

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Лады, попробую, но не скажу когда- я сегодня заболел, так что я временно в ауте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

http://www.liveinternet.ru/stat/ru/oses.html?period=month - более репрезентативна выборка Liveinternet. по ней XP вообще зарулила всех. Vista - всего 6,3%. неизвестная система (за фаерволом - или счетчик недогрузился) - 3,9%. Win2K, Win98 и Win2003 тоже не стоит сбрасывать со счетов, но все "маргинальные" версии Windows - не более 6 по счетчику (10 - в пике с учетом "неизвестных") %-ов в сумме.

Итак, значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Windows XP 11,630,022 84.1% 11,921,839 83.9% 11,320,573 84.2%

Windows Vista 989,429 7.2% 918,600 6.5% 851,992 6.3%

неизвестна 515,513 3.7% 583,875 4.1% 524,911 3.9%

Windows 2000 309,492 2.2% 378,980 2.7% 356,295 2.7%

Windows 98 106,056 0.8% 121,253 0.9% 117,732 0.9%

Windows 2003 89,378 0.6% 102,528 0.7% 95,040 0.7%

Unix 69,714 0.5% 74,316 0.5% 69,169 0.5%

Windows CE 49,483 0.4% 48,380 0.3% 46,827 0.3%

MacOS 49,014 0.4% 50,121 0.4% 48,404 0.4%

Доля браузеров: http://www.liveinternet.ru/stat/ru/browser...ml?period=month - 43,0% за MSIE 6, 24,7% за MSIE7.

"Секьюрные" и "продвинутые" сидят в основном в Опере и в Фаерфоксе 2 - по 13,1%, что "сделало" 7-ой ИЕ. Так вот!

март 2008 г.

отчет: количество посетителей с разными браузерами по дням | по неделям | по месяцам

значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Explorer 6 5,582,359 40.4% 6,023,779 42.4% 5,787,589 43.0%

Explorer 7 3,569,747 25.8% 3,451,588 24.3% 3,189,030 23.7%

Opera 9 1,957,845 14.2% 1,900,441 13.4% 1,766,424 13.1%

Firefox 2 1,861,465 13.5% 1,844,397 13.0% 1,760,489 13.1%

Opera Mini 219,720 1.6% 305,870 2.2% 273,559 2.0%

Opera 8 137,741 1.0% 145,380 1.0% 140,839 1.0%

Firefox 1 120,584 0.9% 129,760 0.9% 127,598 0.9%

Explorer 5 95,046 0.7% 114,412 0.8% 108,842 0.8%

Другие 75,522 0.5% 85,026 0.6% 82,027 0.6%

Safari 2 60,486 0.4% 56,720 0.4% 52,904 0.4%

Mozilla 1 45,832 0.3% 47,684 0.3% 45,439 0.3%

Opera 7 38,634 0.3% 41,639 0.3% 41,280 0.3%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами?

Возвращаюсь к основной теме топика. Я эти вопросы обсуждал вчера на встрече с Адреасом Клименти. Такого рода тест условно обозначен как динамический (Dinamic Anti-Virus Test). Ни у меня ни у Андреса пока нет четкого понимания как его проводить. Основная проблема - это отбор самплов (линков). Какие источники при этом использовать? Самплы организовывать в коллекцию или ходить прямо по источникам? Знаю, скажите, что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл. Методологических дыр немеренно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл.

так узнать что там - очень просто. Проблема в другом - как мотивировать выбор этих самых линков и как объяснить почему малварь, которая загружается с них детектируетцся некоторыми антивирусами. То есть - такой тест легко подогнать - скачиваем малварь, отправляем определенному вендору, тот добавляет сигнатуру - и ОПА! - малварь убивается еще не ставши в системе. И как воспроизвести такой тест? Если через день-два линка уже будет мертва.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Мы забыли про ещё один способ заражения компьютера - установка кряков(патчей и т.д.).

Я предлагаю следующий вариант проведения теста

1. выбрать наиболее распространённый софт (где то 150-200 программ)

2. скачать к каждой программе (последние версии) по 5-10 кряков.

3. проанализировать этот "зоопарк"

Если учесть, что, по крайней мере, 20-30% кряков с «сюрпризом» у нас будет ~ 200-300 образцов. Чего вполне достаточно для составления реального рейтинга антивирусников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Ну так достаточно сунуться в любой файлообменник- там такого добра навалом!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
То есть - такой тест легко подогнать.

Любой тест можно подогнать- например, позаимствовать коллекцию у конкретного производителя или брать линки на зловреды из числа тех, что забиты в их онлайновые мониторы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тут больше проблема в воспроизводимости и обоснования выбора той или иной линки. Да и в подобном тесте будет отражаться работа на некой определенной системе - например XP SP2, IE, без патчей и с виндовым фаерволом. И на ней поставлен каждый тестируемый продукт. Только вот вопрос - как много людей работает именно на такой системе? Даже если принять процент за 50 - то все-равно смысла такого теста нету.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Тогда можно сделать всё гораздо проще- ходить по всем линкам, анализировать зловредный контент и воспроизводить его на собственном сервере.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

Создайте учетную запись или войдите, чтобы комментировать

Вы должны быть пользователем, чтобы оставить комментарий

Создать учетную запись

Зарегистрируйте новую учётную запись в нашем сообществе. Это очень просто!


Регистрация нового пользователя

Войти

Уже есть аккаунт? Войти в систему.


Войти с помощью Facebook Войти Войти с помощью Twitter
Anti-Malware.ru Вконтакте   Anti-Malware.ru в Facebook   Anti-Malware.ru в Twitter   Anti-Malware.ru в LinkedIn   RSS
  • Сообщения

    • Wenderoy
      Обновляю: https://mega.nz/#!0FYBnRzT!Kh8GaRMVOzm99QJZX0NsDD51vDaFzPI-Vil02kw53rQ
    • Sergey22101979s
      Площадку надо свою делать и развивать её. А потом продавать места на ней. И не важно какую площадку - сайт, группу в соцсети, или что-то тому подобное.
    • homeobed
      На дому за копейки работать - дело нехитрое) Вот чтобы зарабатывать приличные деньги, на одних комментариях далеко не уедешь)
    • Mike
      Вышел McAfee VirusScan Enterprise 8.8.0 Patch 10  
    • Wenderoy
      Да, лучше удалить. Но это, разумеется, решает администрация... Я никакой не тролль, ANDYBOND прекрасно это понимает, просто именно с ним был разлад безо всякой причины, подробности приводить не буду, но теперь он старается как можно больше "навредить" мне. Собственно, вот отзывы про PS - https://www.mywot.com/ru/scorecard/provisionsecurity.ru Думаю, комментарии будут излишними. Есть очень много свидетелей, которых "примерная" администрация Provisionsecurity даже "поливала" нецензурной лексикой, у меня есть все скриншоты и т. д. И после всего этого надо подумать, а стоит ли верить таким людям? Это я в качестве отступления. Главное - то, что я устал здесь распинаться, тратя свое личное время, что идет только на руку уже упомянутым участниками форума. Все, что мне надо было доказать, я доказал, пользователи моего приложения знают и понимают мои цели и стремления, я ни от кого ничего не скрываю. Поэтому программу уже используют многие, а это значит, что дело поставлено на рельсы. Самое смешное, что на каждый мой аргумент, который я не поленился снабдить всей необходимой информацией в форме ссылок, скриншотов, записей, копий писем, сообщений лабораторий etc, в ответ мне летят одни и те же фразы: "мошенник", "вирусописатель", "тролль". Так кто же больше попадает под значение последнего слова? Просто упомяну еще пару вещей. Когда я объяснял, почему продукт детектит пустой файл, все равно меня никто не слышал. Каким же, интересно, образом мне следует растолковать это? Были приведены доказательства, что я часть баз собираю с ресурса VirusShare (благо, имеются очень хорошие источники самой разнообразной информации), где AVP в свое время почему-то пометил файл как Trojan... (где-то на предыдущих страницах все чрезвычайно подробно описано). Так вот, копируя MD5, в комплект попала и хеш-сумма пустого файла, вследствие чего как бы Вы его ни переименовывали, все рано будет сработка продукта (кстати, ее уже нет). Далее. Насчет "мошенник" и "вирусописатель". Если зимние переписки (не просто отчетов автоматического анализа лабораторий) с вирусным аналитиком McAfee ни о чем Вам не говорят, это, как говорится, не мои проблемы. Другие вендоры, да практически все (даже популярные Avast, Qihoo и др.) устанавливаются втихомолку вместе с другим ПО (DRP Solutions, различные дополнения для монетизации в пакеты дистрибутивов), но их Вы почему-то "вирусописателями"  не называете. И последнее. Насчет "мошенник". Я никого не принуждаю устанавливать KAR, каждый делает это добровольно. Лицензионное соглашение и Privacy Statment присутствуют на сайте, там все четко и ясно описано. На сервер высылаются исключительно анонимные отчеты, как и в любых других разработках аналогичного типа, не более того.  Kuranin Anti-Ransomware распространяется абсолютно бесплатно, никакой рекламы ни в продукте, ни даже на сайте, т. к. это мое хобби. Поэтому здесь не вижу ничего, связанного с мошенничеством. Это очень краткое обобщение, все мои подробные ночные отписки на однотипные бессмысленные сообщения можно посмотреть, листая предыдущие ни много ни мало двенадцать страниц. @VMS, радует, что еще есть адекватные люди, которые умеют слушать. Да, к сожалению, это не те времена, когда жизнь кипела в каждом уголке Anti-Malware и других подобных форумов. Обидно, что перевились разработчики-добровольцы, которые были очень активны в 2004-2014 годах. Сейчас в основном крупные компании все вытеснили, да есть те, кто просто сдался (Александр Калинин, его судьба мне не известна, но смею предположить, что он воплотил свое хобби в жизнь; Kerish, который, правда, стал чрезвычайно полезной утилитой Kerish Doctor, а ведь совсем немногие знают прошлое этого творения; ScreamAV, бесплатныq антивирус то ли из Индонезии, то ли с Филиппин; путем долгого анализа удалось выяснить, что создатели данного антивируса примкнули к проекту SmadAV;  SMK антивирус, когда-то известный в узких кругах; "Зоркий глаз" Петелина Александра;  AWS Core, приостановивший свое развитие и т. п.) Вообще обожаю древние сайты, особенно варианты на narod.ru и им подобные, пропахшие стариной и историей. Очень приятные ощущения, как будто бы открыл давно забытую, но вновь найденную на чердаке книгу с пожелтевшими от времени листами.  А еще очень много полезных ресурсов, которых уже нет, но они сохранились в "архиве". Все это "богатство" сложно отыскать, но зато там есть чрезвычайно много полезной информации... Вот, кстати, один из примеров: https://web.archive.org/web/20040905203536/http://www.winchanger.narod.ru:80/ Или https://web.archive.org/web/20070624081145/http://winchanger.whatis.ru:80/ Как бонус прилагаю собственную коллекцию малоизвестных продуктов любителей информационной безопасности, среди них, кстати, все вышеупомянутые образцы! https://mega.nz/#!tZBkkCKa!0WzfYt4A1zK4aCvVLtu3FLt7pfPIp7wWtyPIr9c-cbo Может, кому пригодится...