Перейти к содержанию
Сергей Ильин

Тест фаерволов на защиту от внутренних атак (результаты)

Recommended Posts

Chekm
.... нужно принципиально определиться, мы берем песочницы в такие тесты или нет. Если берем, то нужно выработать правила игры для них.

Что скажете?

Я бы сказал, что такой тест или исследование защищенности давно назрел... но тут сразу попутные соображения:

те тесты, которые проводятся посвящены отдельным компонентам, но не охватывают продукт в целом...

И никогда не видел тестов на несколько продуктов работающих в комплексе.

У Рабиновича песочница с фаерволом и результат 100% при условии запуска в песочнице... KIS, CIS - укажите запуск тестовых тулз в песочнице, да ещё с выбором ограничений не по-умолчанию и какой будет результат?

Или например недавно раскритикованный Shadow Defender (песочница на весь сист диск) и тут на форуме от Юрия Паршина и в блоге Umnik читал, что TDSS и ... обходит на раз, хорошо, а Shadow Defender + Comodo IS (песочница в Комодо отключена) тоже на раз?

Retornil (песочница) со встроенным модулем антивируса, то чего не хватает DW...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Соколов

А если в KIS выставить контроль программ только в базе KNS и с цифр. подп. остальные в недоверительный, наверняка наберёт 100% в Вашем тесте.

По поводу паронаидальности Comodo имхо меня устраивает, т.е. я её невижу, песок off хватает белого списка и прямых рук.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Соколов
Например, в том же КИС 2011/2012 можно тоже было запускать тулзы в Безопасной среде. И независимо от настроек результат был бы скорее всего 100%.

Да, но это скорее защита от соц. инженерии. В отличии от того же DW Comodo где это работает и при скрытном запуске(имею ввиду инсталяцию без участия пользователя ak попутная загрузка... :rolleyes: ).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Также очень важно услышать ваши мысли по поводу тестирования на ложные срабатывания, пока что тишина по этому вопросу.

Мы ничего не писали, а брали лежащие в открытом доступе обычный софт с CNet и утилиты из коллекции Рубенкинга, юзающие функции, подобные вашим тестовым утилитам, и их Comodo/DefenweWall блочили без разговоров. Вот и вы попробуйте подобных "чистых" файлов набрать коллекцию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ktotama
Вчера размышлял на тему методологии теста и пришла в голову занятная мысль. Почему-то многих возмутили высокие позиции песочниц DefenseWall/Comodo в этом тесте, но никого не смутил системный аспект. Например, в том же КИС 2011/2012 можно тоже было запускать тулзы в Безопасной среде. И независимо от настроек результат был бы скорее всего 100%. Нечто подобного можно было бы добиться с Авастом например.

К чему я это все собственно. А к тому, что нужно принципиально определиться, мы берем песочницы в такие тесты или нет. Если берем, то нужно выработать правила игры для них.

Что скажете?

Также очень важно услышать ваши мысли по поводу тестирования на ложные срабатывания, пока что тишина по этому вопросу.

Обеими руками за!

Правила: отдельная колонка по тесту возможностей песочниц. И песочниц специализированных известных побольше добавить в тест, а то опять будут упреки о независимости/заинтересованности АМ, лобби DW и еще кое-кого.

По поводу теста на ложняки: инициатива и прототипы соответствующих утилит должны исходить и предлагаться к обсуждению в первую очередь от тех, кто любит опосля покритиковать методику и призеров, упрекая в заточке под того же Matousec - будет хоть ясно, что есть слова, а что близко к истине.

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
canni2
А к тому, что нужно принципиально определиться, мы берем песочницы в такие тесты или нет. Если берем, то нужно выработать правила игры для них.

Поскольку тест должен иметь практическое значение, а не просто кучка цифр, то и тестировать нужно весь продукт, а потрошить на куски и издеваться над каждым органом в отдельности - удел Профессионалов. А чтобы не было претензий, типа:" мы тестируем фаерволл, или песочницу?", нужно изменить саму классификацию тестов, не просто "Тест ферволов", а что-то типа "Тест АВ комплексов на атаку через фаервол",(путано и непонятно. не лингвист :( ). Зато если грамотно назвать тест, то исчезнут лишние придирки к словам, и станет ясно, что проверяется не ампутированный (и, как показывает практика, ущербный) компонент, а весь комплекс в целом, что в общем и происходит. Почти всегда продукт запускается полноценным комплексом, и какая разница на практике, кто из компонентов и на каком этапе заблокировал зловреда.

Сложная эта штука тесты тестить особенно фаерволы. Возможно ещё и это: Первый блин — комом © Но всёравно спасибо за тест. ИМХО возможно было бы интереснее разделить на 2 этапа:

1 настройки по умолчанию за пультом домохозяйка смотрит в монитор и жмёт ДА.

2 за пк специалист, который настраивает и управляет продуктом сам. В идеале неплохо бы было, если этот специалист ещё имел бы и прямое отношение к тестируемому продукту.

2пункт бесполезен, т.к. специалист настроит и управит так, что прхождение будет 100%.

Так что всё сделано правильно: 1 по умолчанию, 2 все ползунки на максимум. Именно так и поступает большинство хозяек, причём именно ползунки, а не галочки и крестики.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Поскольку тест должен иметь практическое значение, а не просто кучка цифр, то и тестировать нужно весь продукт

Попробуйте себе представить тестирование всего комплексного продукта в целом. Потом можете писать подобные посты.

Можете даже для начала хотя бы попробовать потестировать пару десятков продуктов на объём трафика, который тратится на обновление. Можно даже под виртуалкой.

Потом скажете, захочется ли Вам после этого тестировать продукты целиком.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Соколов
2пункт бесполезен, т.к. специалист настроит и управит так, что прхождение будет 100%.

Не факт в некоторых продуктах нечего настрайвать и нечем управлять :)

Именно так и поступает большинство хозяек, причём именно ползунки, а не галочки и крестики.

:lol:

Всёж имхо лучше так, разделить тест на 2 категории

1я домохозяечная настройки дефолт.

2я для продвинутых юзеров где из продукта выжимают всё.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
OlegAndr
А если в KIS выставить контроль программ только в базе KNS и с цифр. подп. остальные в недоверительный, наверняка наберёт 100% в Вашем тесте.

Я кстати так и настраиваю, у меня они в сильных ограничениях.

Umnik, что я делаю не так?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Соколов
Я кстати так и настраиваю, у меня они в сильных ограничениях.

Umnik, что я делаю не так?

И в чем проблема...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Так?

Untitled.png

post-3736-1317042660_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ktotama

Публикуйте наблюдения и результаты по тематике, в том числе дополнительные и вне теста, как с тестируемыми программами так и с другими достойными кандидатами, с видео в доказательство, что мешает?

Отредактировал ktotama

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
NVS
Я бы сказал, что такой тест или исследование защищенности давно назрел... но тут сразу попутные соображения:

те тесты, которые проводятся посвящены отдельным компонентам, но не охватывают продукт в целом...

И никогда не видел тестов на несколько продуктов работающих в комплексе.

У Рабиновича песочница с фаерволом и результат 100% при условии запуска в песочнице... KIS, CIS - укажите запуск тестовых тулз в песочнице, да ещё с выбором ограничений не по-умолчанию и какой будет результат?

Или например недавно раскритикованный Shadow Defender (песочница на весь сист диск) и тут на форуме от Юрия Паршина и в блоге Umnik читал, что TDSS и ... обходит на раз, хорошо, а Shadow Defender + Comodo IS (песочница в Комодо отключена) тоже на раз?

Retornil (песочница) со встроенным модулем антивируса, то чего не хватает DW...

Песочницу у Касперского в тест включать нельзя, ёё не используют, не автоматизирована. Может ещё эксплойты(все) для вообще всего софта включая Windows попросим в ней работать? :lol:

Такие песочницы в тест включать нельзя! :) Тогда уж любому юзеру нечего не мешает установить себе бесплатную. Лучше протестировать песочницы на критические уязвимости которые с легкостью смогут найти в них продвинутые хакеры.

:)

Вообще все тестирование нужно проводить на только 64 битных системах! :)

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Вообще все тестирование нужно проводить на только 64 битных системах!

Это почему такая категоричность? Выше была статистика по ОС, нельзя по ней говорить что Windows 7 х64 однозначно рулит.

P.S. Но следующий тест сделаем на ней. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Александр Соколов
Это почему такая категоричность? Выше была статистика по ОС, нельзя по ней говорить что Windows 7 х64 однозначно рулит.

P.S. Но следующий тест сделаем на ней. ;)

Когда вовсю будет рулить x128 ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
A.
Когда вовсю будет рулить x128 ;)

Нет, как только Рабинович получит подпись и сделает версию под x64

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
canni2
Попробуйте себе представить тестирование всего комплексного продукта в целом. Потом можете писать подобные посты.

Можете даже для начала хотя бы попробовать потестировать пару десятков продуктов на объём трафика, который тратится на обновление. Можно даже под виртуалкой.

Потом скажете, захочется ли Вам после этого тестировать продукты целиком.

Немного не так.

что-то типа "Тест АВ комплексов на атаку через фаервол"
т.е. тестируем фаервол - хорошо, но не нужно при этом ампутировать всё остальное, т.к. в реальной жизни так не бывает. Если тестируется, например, комодо-фаервол, или outpost-firewall как отдельный продукт, значит это их плюсы, или минусы. Но если они в составе комплексов, то и результат надо оценивать соответственно...

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
canni2
Всёж имхо лучше так, разделить тест на 2 категории

1я домохозяечная настройки дефолт.

2я для продвинутых юзеров где из продукта выжимают всё.

Так а сейчас в тесте было не так? Читайте

Так что всё сделано правильно: 1 по умолчанию, 2 все ползунки на максимум.
Так что нафига был пост?

А про крестики/галочки - это чтобы букаф больше написать :P

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
но не нужно при этом ампутировать всё остальное, т.к. в реальной жизни так не бывает. Если тестируется, например, комодо-фаервол, или outpost-firewall как отдельный продукт, значит это их плюсы, или минусы. Но если они в составе комплексов, то и результат надо оценивать соответственно...

В общем мы в данном тесте так и делали, поэтому сами тестовые кейсы по сути выходят далеко за рамки классических функций фаервола. Т.е. тестировался продукт целиком, а на отдельные функции. НО с песочницами все же непонятно как быть. С одной стороны это часть продукта. Но у одни она - ядро продукта (почти всегда включена), а у других дополнительная возможность, которую и включить и большинство юзеров не знают как.

Поэтому нужно выработать правило, как мы поступаем с песочницами. Можно будет к тому же сделать их отдельный их мини-тест "на пробой".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
GReY
Можно будет к тому же сделать их отдельный их мини-тест "на пробой".

почему "мини", чем он будет отличаться от уже проделанных?

я считаю, что нужно тестировать именно так, как обычно происходит внедрение: открыли сайт, тыцнули ссылку (а ещё лучше скрипт само чего-нибудь запустилось) и ждём реакции защиты. Если приложение было автоматически изолировано - се ля ви, но надо проверить ложные срабатывания, чтобы неповадно было изолировать всё подряд.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
почему "мини", чем он будет отличаться от уже проделанных?

я считаю, что нужно тестировать именно так, как обычно происходит внедрение: открыли сайт, тыцнули ссылку (а ещё лучше скрипт само чего-нибудь запустилось) и ждём реакции защиты. Если приложение было автоматически изолировано - се ля ви, но надо проверить ложные срабатывания, чтобы неповадно было изолировать всё подряд.

Это будет уже другой тест. Вот этот.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
SDA
Это будет уже другой тест. Вот этот.

Сейчас ХИПС и фаеврвол практически во всех продуктов класса IS связаны. Т.е. получается либо тесты "чистого брандмауэра" (тогда больше половины IS можно из теста выкидывать) либо то что было. Кстати, по поводу песочницы в х64 9 (имеется ввиду АВ продукт), назовите мне хоть одну (вопрос ко всем), которая полноценно работает в х64 среде ;) Если крупные вендоры не могут это сделать, то что можно требовать от Рабиновича ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Mr. Justice
Сейчас ХИПС и фаеврвол практически во всех продуктов класса IS связаны. Т.е. получается либо тесты "чистого брандмауэра" (тогда больше половины IS можно из теста выкидывать) либо то что было.

Я это понимаю. Отмечу лишь, что нужно четко провести водораздел между этими тестами, то есть определиться с тем, что тестируется в каждом из них.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
ktotama
В общем мы в данном тесте так и делали, поэтому сами тестовые кейсы по сути выходят далеко за рамки классических функций фаервола. Т.е. тестировался продукт целиком, а на отдельные функции. НО с песочницами все же непонятно как быть. С одной стороны это часть продукта. Но у одни она - ядро продукта (почти всегда включена), а у других дополнительная возможность, которую и включить и большинство юзеров не знают как.

Поэтому нужно выработать правило, как мы поступаем с песочницами. Можно будет к тому же сделать их отдельный их мини-тест "на пробой".

Возможно, я в прошлом посте неисчерпывающе выразился.

В шапках итоговых таблиц дополнительные колонки, с подклассификацией результатов, где запуск из безопасной среды, а где нет, также остаются условия запуска по дефолту и по максимуму, в том числе возможно и для песочниц, если их авторами предусмотрена их настройка или опциональный выбор.

Если выбора настроек дефолт-макс нет, то соответствующая пара ячеек объединяется; если соответствующие настройки все же есть, но никак не влияют на результат (недавний случай в примере с Online Armor), то соответствующие ячейки не объединять, но значения для них соответственно одни и те же.

Таким образом, общее количество колонок увеличится вдвое по сравнению с настоящим.

Если у продукта в принципе нет того или иного функционала, будь то проактивная защита без безопасной среды или наоборот только безопасная среда, то в соответствующей колонке результатов прочерк "-".

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В шапках итоговых таблиц дополнительные колонки, с подклассификацией результатов, где запуск из безопасной среды, а где нет, также остаются условия запуска по дефолту и по максимуму, в том числе возможно и для песочниц, если их авторами предусмотрена их настройка или опциональный выбор.

Да, это вариант. Спасибо! Теперь я понял мысль.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×