Тестирование фаерволов I (подготовка)

[Viktor 669]

Как минимум в этих продуктах существует 2 режима работы фаервола и HIPS - "обычный" и "экспертный".

Да хоть 5, но, как Вы сами знаете, подавляющее большинство пользователей используют тот, который идет по умолчанию.

[Виталий Я. 859]

Да хоть 5, но, как Вы сами знаете, подавляющее большинство пользователей используют тот, который идет по умолчанию.

NB! В Outpost ни один из режимов ("обычный"/"экспертный") НЕ (!) является умолчальным. Что получит Outpost? Или авторы говорят в методологии о том, что все пользователи - профаны?

(Опыт показывает обратное, как ни странно - даже профаны ставят Outpost в режиме повышенной защиты. С KIS распределение, разумеется, иное...)

[Umnik 997]

Виталий Я.

Статистики получать не научились? Иначе бы точно знали, какой режим реально популярный.

[365 0]

Поддерживаю:

вариант - фаер получает награду золото т.к. в умолчальном режиме обеспечивает отличную защиту (среди сравниваемых продуктов, хотя и пропустил скажем 3 атаки), и получает серебро при максимальных настройках т.к. по-прежнему есть пропуск 1 атаки в отличие от конкурентов.

вывод - в умолчальном режиме этот хорош, если хочется большего, то ставь другой, с лучшими ручными настройками

Так, по крайней мере, будет учтена специфика использования всех продуктов. Например, KIS - продукт максимально ориентирован для массового потребления. Вероятно, большинство пользователей - домохозяек - будет оставлять настройки фаера по-умолчанию. А, например, COMODO? Домохозяйки его пользовать (якобы, из-за сложности) будут ограниченно. Ну а те, кто его ставит, очевидно понимают в чем дело и уж явно не будут оставлять настройки "как есть"

[Виталий Я. 859]

Виталий Я.

Статистики получать не научились? Иначе бы точно знали, какой режим реально популярный.

Вашу - точно не научились. У своих пользователей оставили принципиальную возможность юзерам фаервола не сообщать о себе ничего через ImproveNet. Настолько ли доброволен KSN?

[Сергей Ильин 1538]

IMHO лучше всего сделать две отдельные таблицы с результатами теста/наградами.

Это мы сделаем само собой, но все же хочется каких-то выводов в итоге, а 2 разные таблицы ничего не скажут, а только могут больше запутать.

вариант - фаер получает награду золото т.к. в умолчальном режиме обеспечивает отличную защиту (среди сравниваемых продуктов, хотя и пропустил скажем 3 атаки), и получает серебро при максимальных настройках т.к. по-прежнему есть пропуск 1 атаки в отличие от конкурентов.

Честно говоря, я склоняюсь к такому варианту. Т.е. можно сделать общие критерии оценки, общий рейтинг (уровни набранных баллов) и у каждого продукта будет по сути 2 возможности/попытки получить медали: с настройками по умолчанию и с макс. настройками. Чем-то будет похоже на то, как сделано у Матюшека сейчас.

Я за 2 медали. Gold Default setting firewall /Gold Max Settings firewall

Как-то сложно будет с 2-ми медалями ИМХО за одно и тоже. Но и положительный момент тут есть. Например, если взять предложенный strat выше вариант, то фаерволл Х получил Золото на дефолтовых настройках, а фаерволл У на максимальных. В пресс-релизах они напишут оба, что получили Золото, и преимущество фаерволла Х нивелируется, хотя он явно круче на самом деле.

Поскольку практически никто не меняет настройки по умолчанию, правильнее судить о полезности Firewall по показателям работы на дефолтных настройках и награждать только за это. Результаты работы с максимальными настройками я бы опубликовал в качестве примечания и не отмечал наградами.

Первоначально именно так и хотели, но посмотрев результаты теста возникли сомнения. Очень уж результаты сильно расходятся, в том числе и для Outpost, не зря Виталий оживился

[Васька 45]

Поскольку практически никто не меняет настройки по умолчанию

Я меняю. Простой пользователь.

Мне интересно узнать два результата

[Umnik 997]

Виталий Я.

Я подожду еще пару лет. Возможно тебе их хватит, чтобы все-таки найти в вопросе "Статистики получать не научились?" вопрос "Статистики получать не научились?", а не "Что ты знаешь о KSN?"

С дефолтовыми есть одна фишка. Вендоры исходят из того, что IS - это комплекс. Нет необходимости накручивать параметры одного компонента, потому как есть другие. Накрутка настроек фаервола означает ухудшение юзабилити для новичков, вплоть до полного обрубления Инета (есть у некторых вендоров проблемы с VPN по умолчанию, например). Кому это нужно? Вендоры будут использовать более мягкие настройки, которые будут означать не высокие результаты в синтетических тестах.

[Viktor 669]

NB! В Outpost ни один из режимов ("обычный"/"экспертный") НЕ (!) является умолчальным. Что получит Outpost? Или авторы говорят в методологии о том, что все пользователи - профаны?

Отчего же все, есть и гики, но их меньшенство. Еще раз повторю - большинство использует продукт с рекомендованными настройками и никакие конфигурации не меняет. Даже если есть визард настройки, пользователи обычно весь процесс скипуют и соглашаются на уже предустановленные значения

Очень уж результаты сильно расходятся, в том числе и для Outpost, не зря Виталий оживился

Угу, это уже и слепому видно

[Виталий Я. 859]

Виталий Я.

Я подожду еще пару лет. Возможно тебе их хватит, чтобы все-таки найти в вопросе "Статистики получать не научились?" вопрос "Статистики получать не научились?", а не "Что ты знаешь о KSN?"

Бррр. Если мы обсуждаем и Аутпост, и КИС, будьте добры не спрыгивать с темы. Нельзя мерять одним аршином FMCG-продукт под брендом "Kaspersky Internet Security" и нишевой софт, которым является Outpost Firewall Pro/Security Suite Pro. Про KSN как систему, заимствовавшую и в чем-то развившую идею ImproveNet, нельзя было не сказать.

Наша позиция простая: мы _можем_ получать информацию об используемых режимах. Пользуемся этой возможностью или нет - отдельный ответ. ("Нет" )

Но 90% случаев trouble-shooting (90% обращений в поддержку и вопросов-отзывов в форумах, блогах и прессе) именно вследствие режима повышенной безопасности. Это мы мониторим прекрасно. И знаем, как трактовки тестирующих различаются в зависимости от уровня их знаний и желания разобраться... Кто занимает позицию "тупоконечника", тот все валит на плохие дефолтные настройки (кстати, разные в конфигурациях Firewall Pro и Security Suite Pro в плане включения режимов автообучения и т.п.)

В целом, с учетом распределения продуктов Pro/Free профиль пользователя наших Firewall-содержащих продуктов примерно в 75% случаев - с ПОВЫШЕННЫМ уровнем Anti-Leak (и остальных настроек проактивной защиты) по умолчанию.

А кто использует другие конфигурации фаервола? Как раз те, кто перенастраивает продукт. Поэтому всем, кроме Дмитрия К., в этой теме незачет по Outpost.

PS: Umnik, а с кем мы в этой теме на брудершафт пили?

Отчего же все, есть и гики, но их меньшенство. Еще раз повторю - большинство использует продукт с рекомендованными настройками и никакие конфигурации не меняет. Даже если есть визард настройки, пользователи обычно весь процесс скипуют и соглашаются на уже предустановленные значения

Угу, это уже и слепому видно

Виктор, Вы и вправду НЕ представляете себе процесса установки Outpost. Ответственность за выбор режима ложится на пользователя.

Жаль, что не успевают пока с обзором OSS Pro 7.5 - там все наглядно. Пока мне видно, что все слепо копируют модель "пользователь не хочет и не будет ни с чем разбираться". Копируйте на здоровье, но со своим уставом не лезьте.

[Viktor 669]

Пока мне видно, что все слепо копируют модель "пользователь не хочет и не будет ни с чем разбираться". Копируйте на здоровье, но со своим уставом не лезьте.

Не лезу, пользователь у каждого решения свой. Бывают и нишевые решения, безусловно. Всех под одну гребенку ровнять не нужно, но и сравнивать в этом случае тоже.

P.S. Сори, не хотел обидеть

[Umnik 997]

Бррр. Если мы обсуждаем и Аутпост, и КИС, будьте добры не спрыгивать с темы.

Дальше не читал. Потому что ты обсуждаешь тут чего-то, а я просто спросил - нет ли в Аутпосте чего-либо, что может сказать реально - такой процент пользователей использует такую настройку, а такой - такую. Пока этого механизма нет, ты не можешь знать реально, какая настройка популярна, а какая нет. Ну ясно же спросил:

Виталий Я.

Статистики получать не научились? Иначе бы точно знали, какой режим реально популярный.

Виталий Янко не работает в ЛК, соответственно спрашивать его о KSN смысла нет. Виталий Янко работает в Агнитуме, соответственно спрашивать его имеет смысл об Аутосте.

[Виталий Я. 859]

Umnik

Дальше "ты" не читал.

[Илья Рабинович 521]

Чем-то будет похоже на то, как сделано у Матюшека сейчас.

Матоушек тестирует с максимальными настройками всё. Так написано в методологии. Это одна их причин, почему его "тест" абсолютно нерелевантен. Просто чувак прогнулся под Комодо.

[Виталий Я. 859]

Матоушек тестирует с максимальными настройками всё. Так написано в методологии. Это одна их причин, почему его "тест" абсолютно нерелевантен. Просто чувак прогнулся под Комодо.

А вот выкатит он скоро на x64 тест, Илья... И под кого прогнется?

[Илья Рабинович 521]

А вот выкатит он скоро на x64 тест, Илья... И под кого прогнется?

Под Комодо в любом случае.

[Сергей Ильин 1538]

Так что в итоге делаем с наградами то? Давайте про настройки Аутпоста прекращать флейм, мы все равно их протестили в обоих режимах

[Илья Рабинович 521]

Предложение. Раз результаты для некоторых продуктов сильно различны для настроек по умолчанию и максимальных, то максимальные отрелизить вне зачёта, для информации. Их в любом случае найдут энтузиасты, которые интересуются темой, именно они и выкручивают, обычно, рычаги на "максимум", а вот обычного пользователя, которому прокатился катком по ушам маркетинговый отдел крупного производителя, стоит проинформировать в принудительном порядке.

[Сергей Ильин 1538]

В общем у нас 2 реальных варианта в итоге:

1. Один комплект наград для обоих вариантов настроек. При этом каждый продукт может получить 2 медали одинакового или различного достоинства.

2. Учитываем только дефотовые настройки, по ним награждаем, а результаты по максимальным даем бонусом.

Кому какой из вариантов ближе?

[365 0]

Тест, как я понял, делается под большинство пользователей. Если в отношении KIS нет сомнений, что большинство юзает его с настройками по-умолчанию, то в отношении комодо, например, и агнитума у меня такой уверенности нет. Кто-то владеет подобной статистикой? Имхо, должны быть две награды, ну или сделать одну награду вроде так: 1) если продукт имеет две награды, и высшая - по дефолтным настройкам (что сомнительно), то оставить высшую; 2) если продукт имеет две награды и высшая по максимальным настройкам - дать награду на 1 меньше высшей; 3) если имеет только одну награду - дать награду на 2 меньше полученной.

[Сергей Ильин 1538]

1) если продукт имеет две награды, и высшая - по дефолтным настройкам (что сомнительно), то оставить высшую; 2) если продукт имеет две награды и высшая по максимальным настройкам - дать награду на 1 меньше высшей; 3) если имеет только одну награду - дать награду на 2 меньше полученной.

Типичная ситуация сейчас. На макс. настройках - Золото, на дефолтовых - бронза дай бог. Следуя этой схеме мы даем такому продукту одну Серебряную награду. Я правильно понял идею?

[Viktor 669]

2. Учитываем только дефотовые настройки, по ним награждаем, а результаты по максимальным даем бонусом.

Кому какой из вариантов ближе?

2

[Dmitriy K 603]

1. Один комплект наград для обоих вариантов настроек. При этом каждый продукт может получить 2 медали одинакового или различного достоинства.

+1

[Umnik 997]

Два комплекта. Показать возможности отдельно взятого модуля (при том, что это комплекс и модуль второстепенный) как в базе, так и возможности вообще, т.е. в максе.

[Виталий Я. 859]

2 комплекта без усреднения. И уточнить название теста. "Тест фаерволов" - вряд ли с методологией стыкуется.