Как приблизить "синтетические тесты" к реальным условиям - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Andrey75

Как приблизить "синтетические тесты" к реальным условиям

Recommended Posts

Andrey75

Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Добрый день Василий

Мне бы хотелось узнать ваше мнение по поводу улучшения качества проведения тестов. Как приблизить "синтетические" тесты к реальным "боевым" условиям? Что бы результаты тестов отражали реальную способность антивирусного продукта защитить компьютер

Методики тестов конечно нужно улучшать. Но к "боевым" условиям, то есть условиям максимально отражающие работу пользователя, врядли удасться подогнать методику. Тестируют в основном компоненты антивирусов - сигнатурный детект, эвристика, лечение... Что касается лечения - он максимально приближен к "боевым". Сигнатур ный - не очень близок - потому как 0-day малварь. которой зачастую и заражаются пользователи - почти никем не детектируется на момент заражения.

Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь? Отключать файловый антивирус для имитации заражения неизвестным вредоносом? А как же тогда эвристика? Она тоже будет отключена ведь. И таких вопрос много и они не разрешимы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Некоторые предлагают ставить антивирус и заражать систему - тогда как подбирать малварь?

Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Вопросы с ходу

- с каким браузером ходить ?

- с операционной системы какой степени пропатченности ?

Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
Очень просто- собирать линки на сайты, распространяющие заразу и ходить на них из-под honeypot-машины с антивирем на борту или же любой иной другой (например, поведенческой) системой защиты. Проанализировать состояние файловой системы и реестра из-под этой машины. Затем загрузиться с LIveCD и проанализировать состояние файловой системы и реестра из-под чистой системы и сравнить. Сорри за потенциальный оффтоп.

Вот как раз не все просто :) Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами? Антивирь пропустит, фаер нет... Можно и еще кучу вопросов придумать :) Да и нынче не вся малварь через эксплоиты лезет - кто-то сам скачивает под видом кряка инета и запускает, через USB, через уязвимости ОС в сети и т.п.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Самыми распространёнными- WinXP SP2, IE 6.0 без дополнительных патчей.

То есть, конфигурация 2004 года ?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
То есть, конфигурация 2004 года ?

То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
То есть самая распространённая конфигурация. У всех моих знакомых- именно она.

1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
1. IE 6.0 не является доминирующим браузером в настоящее время, ни в России, ни в мире. "Доминирующий" >50%.

Для простого юзера, не знающего про безопасность ничего- самое оно. Ведь всё работает! Зачем что-то менять?

2. Поверить в то, что Ваши знакомые с 2004 года не устанавливали на операционную систему никаких патчей - не могу. Даже если так - это не самая распространенная конфигурация. У меня наблюдения совсем иные.

Windows Updates обычно отключён из-за WGA, а я не могу бегать по всем и устанавливать патчи. Да и не понимают люди ничего в безопасности- они простые пользователи MS Word и Skype. Ну и, плюс, развивающие игры для детей...

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Цитата(A. @ 03.03.2008, 1:17) *

3. Прошу модераторов вынести наши с Ильей посты в отдельную тему, вопрос интересный, имхо.

Совершенно поддерживаю!

В принципе, я могу организовать опрос простых пользователей по СНГ на предмет их текущей конфигурации.

Что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

По браузерам:

1. Internet Explorer 47,35 %

2. Opera 29,05 %

3. Firefox 22,05 %

По ОС:

1. Windows 96,83 %

2. Linux 1,23 %

4. FreeBSD 0,28 %

5. Macintosh 0,25 %

6. SymbianOS 0,08 %

Java поддерживает около 81% пользователей.

Жалко нет статистики по версиям ПО :(

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
6. SymbianOS 0,08 %

Это был я :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
А что касается пользователей, то есть статистика посетителей АМ (около 50 тыс. за предыдущий месяц):

Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Шабанов
Это неправильная статистика- мои знакомые вообще вопросами безопасности мало заморачиваются и на ресурсы типа AM вообще не ходят! Зато много ходят на другие- например, для молодых мам...

Илья, почему сразу неправильная? :)

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Но эти результаты также можно считать "неправильными", поэтому предлагаю делать выводы на совокупности имеющихся результатов исследований :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Глобальную статистику по рунету можно посмотреть тут

http://globalstats.hotlog.ru/

Данные HotLog можно считать репрезентативными, охват сайтов них большой.

Windows XP 60.00%

Windows 2000-2003 17.09%

Windows other 20.74% (это видимо Виста :))

MSIE 6.0 71.41%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Windows other 20.74% (это видимо Виста smile.gif)

Ещё достаточно много в инет и с Windows 98/Me выходят.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Илья, почему сразу неправильная?

Потому что она идёт на основе людей, который сюда заходят. А они или интересуются безопасностью, или это их профессия.

Если есть возможность провести опрос среди знакомых, то это будет очень здорово!

Лады, попробую, но не скажу когда- я сегодня заболел, так что я временно в ауте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

http://www.liveinternet.ru/stat/ru/oses.html?period=month - более репрезентативна выборка Liveinternet. по ней XP вообще зарулила всех. Vista - всего 6,3%. неизвестная система (за фаерволом - или счетчик недогрузился) - 3,9%. Win2K, Win98 и Win2003 тоже не стоит сбрасывать со счетов, но все "маргинальные" версии Windows - не более 6 по счетчику (10 - в пике с учетом "неизвестных") %-ов в сумме.

Итак, значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Windows XP 11,630,022 84.1% 11,921,839 83.9% 11,320,573 84.2%

Windows Vista 989,429 7.2% 918,600 6.5% 851,992 6.3%

неизвестна 515,513 3.7% 583,875 4.1% 524,911 3.9%

Windows 2000 309,492 2.2% 378,980 2.7% 356,295 2.7%

Windows 98 106,056 0.8% 121,253 0.9% 117,732 0.9%

Windows 2003 89,378 0.6% 102,528 0.7% 95,040 0.7%

Unix 69,714 0.5% 74,316 0.5% 69,169 0.5%

Windows CE 49,483 0.4% 48,380 0.3% 46,827 0.3%

MacOS 49,014 0.4% 50,121 0.4% 48,404 0.4%

Доля браузеров: http://www.liveinternet.ru/stat/ru/browser...ml?period=month - 43,0% за MSIE 6, 24,7% за MSIE7.

"Секьюрные" и "продвинутые" сидят в основном в Опере и в Фаерфоксе 2 - по 13,1%, что "сделало" 7-ой ИЕ. Так вот!

март 2008 г.

отчет: количество посетителей с разными браузерами по дням | по неделям | по месяцам

значения:

среднесуточные март 2008 г. февраль 2008 г. в среднем

за 3 месяца

Explorer 6 5,582,359 40.4% 6,023,779 42.4% 5,787,589 43.0%

Explorer 7 3,569,747 25.8% 3,451,588 24.3% 3,189,030 23.7%

Opera 9 1,957,845 14.2% 1,900,441 13.4% 1,766,424 13.1%

Firefox 2 1,861,465 13.5% 1,844,397 13.0% 1,760,489 13.1%

Opera Mini 219,720 1.6% 305,870 2.2% 273,559 2.0%

Opera 8 137,741 1.0% 145,380 1.0% 140,839 1.0%

Firefox 1 120,584 0.9% 129,760 0.9% 127,598 0.9%

Explorer 5 95,046 0.7% 114,412 0.8% 108,842 0.8%

Другие 75,522 0.5% 85,026 0.6% 82,027 0.6%

Safari 2 60,486 0.4% 56,720 0.4% 52,904 0.4%

Mozilla 1 45,832 0.3% 47,684 0.3% 45,439 0.3%

Opera 7 38,634 0.3% 41,639 0.3% 41,280 0.3%

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Как ответить на вопросы - почему брались именно эти линки? А почему малварь, которая загружается детектируются авирой например, а остальными нет. Может вы им его отослали, а потом тест проводить стали? если говорить о "реальных" условиях, то как решить вопрос с фаерволами?

Возвращаюсь к основной теме топика. Я эти вопросы обсуждал вчера на встрече с Адреасом Клименти. Такого рода тест условно обозначен как динамический (Dinamic Anti-Virus Test). Ни у меня ни у Андреса пока нет четкого понимания как его проводить. Основная проблема - это отбор самплов (линков). Какие источники при этом использовать? Самплы организовывать в коллекцию или ходить прямо по источникам? Знаю, скажите, что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл. Методологических дыр немеренно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber
что надо ходить по линкам. Только в этом случае мы не знаем что там. Может там и вредоноса нет, а может по 10 ссылкам одна и тот же сампл.

так узнать что там - очень просто. Проблема в другом - как мотивировать выбор этих самых линков и как объяснить почему малварь, которая загружается с них детектируетцся некоторыми антивирусами. То есть - такой тест легко подогнать - скачиваем малварь, отправляем определенному вендору, тот добавляет сигнатуру - и ОПА! - малварь убивается еще не ставши в системе. И как воспроизвести такой тест? Если через день-два линка уже будет мертва.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Andrey75

Мы забыли про ещё один способ заражения компьютера - установка кряков(патчей и т.д.).

Я предлагаю следующий вариант проведения теста

1. выбрать наиболее распространённый софт (где то 150-200 программ)

2. скачать к каждой программе (последние версии) по 5-10 кряков.

3. проанализировать этот "зоопарк"

Если учесть, что, по крайней мере, 20-30% кряков с «сюрпризом» у нас будет ~ 200-300 образцов. Чего вполне достаточно для составления реального рейтинга антивирусников

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Ну так достаточно сунуться в любой файлообменник- там такого добра навалом!

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
То есть - такой тест легко подогнать.

Любой тест можно подогнать- например, позаимствовать коллекцию у конкретного производителя или брать линки на зловреды из числа тех, что забиты в их онлайновые мониторы.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
vaber

Тут больше проблема в воспроизводимости и обоснования выбора той или иной линки. Да и в подобном тесте будет отражаться работа на некой определенной системе - например XP SP2, IE, без патчей и с виндовым фаерволом. И на ней поставлен каждый тестируемый продукт. Только вот вопрос - как много людей работает именно на такой системе? Даже если принять процент за 50 - то все-равно смысла такого теста нету.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Тогда можно сделать всё гораздо проще- ходить по всем линкам, анализировать зловредный контент и воспроизводить его на собственном сервере.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • santy
      Например: форумы Anti-Malware, официальный и неофициальный технические форумы Касперского разработаны при поддержке Powered by Invision Community Invision Community (ранее IPS Community Suite, Invision Power Board, сокращенно IPS, IP.Suite или IP.Board) — коммерческое программное обеспечение для организации веб-форумов, разрабатываемое американской компанией Invision Power Services Inc ----------- Получается 1С-Битрикс наше все.
    • PR55.RP55
      КОТ ( Комитет Охраны Тепла ) Африка
      Неизбежность войны, предвкушаю крах
      Если я говорю, значит, он прав
      Армагеддон — это больше, чем страх
      Это любовь, это слёзы и кровь
      Твоих сыновей
      Африка!

      [Бридж]
      Твои волосы — как прутья
      Твои мысли — белый мел
      Я однажды не проснулся
      Оттого что я висел

      [Предприпев]
      Африка!
      На твоих руках
      Твоё солнце в моих глазах
      Африка!

      [Припев]
      Чёрное на белом
      Кто-то был неправ
      Я внеплановый сын африканских трав
      Я танцую регги на грязном снегу
      Моя тень на твоём берегу
      Африка!
    • santy
      Я думаю, разработчики закона сами еще не знают как трактовать то, что они сделали. например это: Если владелец сайта является гражданином РФ или российским юридическим лицом является ли система российской, владельцем которой он считается, если сам сайт построен на зарубежном движке?
    • PR55.RP55
      " Запрет на использование иностранных сервисов авторизации (Google, Apple) на российских сайтах, введенный законами № 406-ФЗ и № 670-ФЗ, направлен на локализацию персональных данных и борьбу с утечками, требуя перехода на российские ID-системы, такие как ya.ru или mail.ru [1]. Старые аккаунты, созданные через иностранные сервисы, не удаляются, однако владельцы сайтов обязаны перевести пользователей на легитимные методы входа, включая российскую почту, телефон или Госуслуги, чтобы избежать ответственности за текущие авторизации [1]. " " Владельцы сайтов будут обязаны проводить авторизацию пользователей (например, при регистрации или входе в личный кабинет) с использованием только российских систем. К ним относятся: номер российского телефона; портал "Госуслуги"; единая биометрическая система; иные системы, владельцами которых являются граждане РФ или российские юридические лица." ya.ru или mail.ru - в теории ( и на практике ) граждане р.ф. Сама почта требует авторизации - через номер телефона. т.е. зарегистрированный пользователь уже прошёл авторизацию.  ---------- Оценка выше написанного в ИИ. :) Давайте разберем, почему ваши тезисы и выводы полностью корректны.
      1. Соответствие критериям закона
      Вы абсолютно правы: сервисы *Яндекс (ya.ru)* и *VK (VK ID / Mail.ru)* на
      100% подпадают под четвертый пункт статьи 10.2-1 закона «Об информации»:   * Их владельцами являются *российские юридические лица*.
        * Доля иностранного владения в них приведена в полное соответствие с
          законодательством РФ (контролирующие структуры находятся в
          российской юрисдикции). 2. Цепочка авторизации (наследование доверия)
      Ваша мысль о том, что /«почта требует авторизации через телефон, а
      значит, пользователь уже авторизован»/, юридически называется
      *делегированием авторизации*.   * Закон обязывает владельца форума использовать /российскую систему/
          для входа.
        * Яндекс ID или VK ID — это и есть авторизационные информационные системы.
        * То, что эти ИС внутри себя уже проверили пользователя (по номеру
          телефона, привязке к Госуслугам или через подтвержденный профиль), —
          это их зона ответственности. Для вашего форума главное, что сама
          «входная дверь» (Яндекс/VK) является российской. 3. Обязанности владельца сайта
      Приведенная вами цитата точно описывает текущее положение дел:   * *Закон не требует удалять профили* людей, вошедших когда-то через
          Google.
        * *Закон запрещает процесс* предоставления авторизации через
          иностранцев /сейчас/.
        * Чтобы не получить штраф (вступивший в силу по законопроекту №
          1110676-8), владелец сайта должен закрыть техническую возможность
          кликнуть на «Вход через Google/Apple» и предложить пользователю
          привязать к старому аккаунту российский аналог (почту, телефон или
          Яндекс/VK ID). ------- Но лучше всё это ещё уточнить.    
    • santy
      Актуально, по лучше перенести обсуждение в офтопик.
        выходит что, авторизация через логин и пароль будет считаться неразрешенной, со всеми вытекающими последствиями? или ее можно будет отнести к последнему пункту ("авторизации с помощью российских сервисов авторизации"), если проверка логина и пароля не выходит за пределы сайта?
×