Тестирование фаерволов I (подготовка) - Страница 7 - Тесты и сравнения - Форумы Anti-Malware.ru Перейти к содержанию
Qroxz

Тестирование фаерволов I (подготовка)

Recommended Posts

Viktor
Как минимум в этих продуктах существует 2 режима работы фаервола и HIPS - "обычный" и "экспертный".

Да хоть 5, но, как Вы сами знаете, подавляющее большинство пользователей используют тот, который идет по умолчанию.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Да хоть 5, но, как Вы сами знаете, подавляющее большинство пользователей используют тот, который идет по умолчанию.

NB! В Outpost ни один из режимов ("обычный"/"экспертный") НЕ (!) является умолчальным. Что получит Outpost? Или авторы говорят в методологии о том, что все пользователи - профаны?

(Опыт показывает обратное, как ни странно - даже профаны ставят Outpost в режиме повышенной защиты. С KIS распределение, разумеется, иное...)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Виталий Я.

Статистики получать не научились? Иначе бы точно знали, какой режим реально популярный.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
365

Поддерживаю:

вариант - фаер получает награду золото т.к. в умолчальном режиме обеспечивает отличную защиту (среди сравниваемых продуктов, хотя и пропустил скажем 3 атаки), и получает серебро при максимальных настройках т.к. по-прежнему есть пропуск 1 атаки в отличие от конкурентов.

вывод - в умолчальном режиме этот хорош, если хочется большего, то ставь другой, с лучшими ручными настройками

Так, по крайней мере, будет учтена специфика использования всех продуктов. Например, KIS - продукт максимально ориентирован для массового потребления. Вероятно, большинство пользователей - домохозяек - будет оставлять настройки фаера по-умолчанию. А, например, COMODO? Домохозяйки его пользовать (якобы, из-за сложности) будут ограниченно. Ну а те, кто его ставит, очевидно понимают в чем дело и уж явно не будут оставлять настройки "как есть"

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий Я.

Статистики получать не научились? Иначе бы точно знали, какой режим реально популярный.

Вашу - точно не научились. У своих пользователей оставили принципиальную возможность юзерам фаервола не сообщать о себе ничего через ImproveNet. Настолько ли доброволен KSN?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
IMHO лучше всего сделать две отдельные таблицы с результатами теста/наградами.

Это мы сделаем само собой, но все же хочется каких-то выводов в итоге, а 2 разные таблицы ничего не скажут, а только могут больше запутать.

вариант - фаер получает награду золото т.к. в умолчальном режиме обеспечивает отличную защиту (среди сравниваемых продуктов, хотя и пропустил скажем 3 атаки), и получает серебро при максимальных настройках т.к. по-прежнему есть пропуск 1 атаки в отличие от конкурентов.

Честно говоря, я склоняюсь к такому варианту. Т.е. можно сделать общие критерии оценки, общий рейтинг (уровни набранных баллов) и у каждого продукта будет по сути 2 возможности/попытки получить медали: с настройками по умолчанию и с макс. настройками. Чем-то будет похоже на то, как сделано у Матюшека сейчас.

Я за 2 медали. Gold Default setting firewall /Gold Max Settings firewall

Как-то сложно будет с 2-ми медалями ИМХО за одно и тоже. Но и положительный момент тут есть. Например, если взять предложенный strat выше вариант, то фаерволл Х получил Золото на дефолтовых настройках, а фаерволл У на максимальных. В пресс-релизах они напишут оба, что получили Золото, и преимущество фаерволла Х нивелируется, хотя он явно круче на самом деле.

Поскольку практически никто не меняет настройки по умолчанию, правильнее судить о полезности Firewall по показателям работы на дефолтных настройках и награждать только за это. Результаты работы с максимальными настройками я бы опубликовал в качестве примечания и не отмечал наградами.

Первоначально именно так и хотели, но посмотрев результаты теста возникли сомнения. Очень уж результаты сильно расходятся, в том числе и для Outpost, не зря Виталий оживился ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Васька
Поскольку практически никто не меняет настройки по умолчанию

Я меняю. Простой пользователь.

Мне интересно узнать два результата :mellow:

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Виталий Я.

Я подожду еще пару лет. Возможно тебе их хватит, чтобы все-таки найти в вопросе "Статистики получать не научились?" вопрос "Статистики получать не научились?", а не "Что ты знаешь о KSN?"

С дефолтовыми есть одна фишка. Вендоры исходят из того, что IS - это комплекс. Нет необходимости накручивать параметры одного компонента, потому как есть другие. Накрутка настроек фаервола означает ухудшение юзабилити для новичков, вплоть до полного обрубления Инета (есть у некторых вендоров проблемы с VPN по умолчанию, например). Кому это нужно? Вендоры будут использовать более мягкие настройки, которые будут означать не высокие результаты в синтетических тестах.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Viktor
NB! В Outpost ни один из режимов ("обычный"/"экспертный") НЕ (!) является умолчальным. Что получит Outpost? Или авторы говорят в методологии о том, что все пользователи - профаны?

Отчего же все, есть и гики, но их меньшенство. Еще раз повторю - большинство использует продукт с рекомендованными настройками и никакие конфигурации не меняет. Даже если есть визард настройки, пользователи обычно весь процесс скипуют и соглашаются на уже предустановленные значения

Очень уж результаты сильно расходятся, в том числе и для Outpost, не зря Виталий оживился ;)

Угу, это уже и слепому видно :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Виталий Я.

Я подожду еще пару лет. Возможно тебе их хватит, чтобы все-таки найти в вопросе "Статистики получать не научились?" вопрос "Статистики получать не научились?", а не "Что ты знаешь о KSN?"

Бррр. Если мы обсуждаем и Аутпост, и КИС, будьте добры не спрыгивать с темы. Нельзя мерять одним аршином FMCG-продукт под брендом "Kaspersky Internet Security" и нишевой софт, которым является Outpost Firewall Pro/Security Suite Pro. Про KSN как систему, заимствовавшую и в чем-то развившую идею ImproveNet, нельзя было не сказать.

Наша позиция простая: мы _можем_ получать информацию об используемых режимах. Пользуемся этой возможностью или нет - отдельный ответ. ("Нет" :))

Но 90% случаев trouble-shooting (90% обращений в поддержку и вопросов-отзывов в форумах, блогах и прессе) именно вследствие режима повышенной безопасности. Это мы мониторим прекрасно. И знаем, как трактовки тестирующих различаются в зависимости от уровня их знаний и желания разобраться... Кто занимает позицию "тупоконечника", тот все валит на плохие дефолтные настройки (кстати, разные в конфигурациях Firewall Pro и Security Suite Pro в плане включения режимов автообучения и т.п.)

В целом, с учетом распределения продуктов Pro/Free профиль пользователя наших Firewall-содержащих продуктов примерно в 75% случаев - с ПОВЫШЕННЫМ уровнем Anti-Leak (и остальных настроек проактивной защиты) по умолчанию.

А кто использует другие конфигурации фаервола? Как раз те, кто перенастраивает продукт. Поэтому всем, кроме Дмитрия К., в этой теме незачет по Outpost.

PS: Umnik, а с кем мы в этой теме на брудершафт пили?

Отчего же все, есть и гики, но их меньшенство. Еще раз повторю - большинство использует продукт с рекомендованными настройками и никакие конфигурации не меняет. Даже если есть визард настройки, пользователи обычно весь процесс скипуют и соглашаются на уже предустановленные значения

Угу, это уже и слепому видно :)

:facepalm:

Виктор, Вы и вправду НЕ представляете себе процесса установки Outpost. Ответственность за выбор режима ложится на пользователя.

Жаль, что не успевают пока с обзором OSS Pro 7.5 - там все наглядно. Пока мне видно, что все слепо копируют модель "пользователь не хочет и не будет ни с чем разбираться". Копируйте на здоровье, но со своим уставом не лезьте. ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Viktor
Пока мне видно, что все слепо копируют модель "пользователь не хочет и не будет ни с чем разбираться". Копируйте на здоровье, но со своим уставом не лезьте. ;)

Не лезу, пользователь у каждого решения свой. Бывают и нишевые решения, безусловно. Всех под одну гребенку ровнять не нужно, но и сравнивать в этом случае тоже.

P.S. Сори, не хотел обидеть

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
Бррр. Если мы обсуждаем и Аутпост, и КИС, будьте добры не спрыгивать с темы.

Дальше не читал. Потому что ты обсуждаешь тут чего-то, а я просто спросил - нет ли в Аутпосте чего-либо, что может сказать реально - такой процент пользователей использует такую настройку, а такой - такую. Пока этого механизма нет, ты не можешь знать реально, какая настройка популярна, а какая нет. Ну ясно же спросил:

Виталий Я.

Статистики получать не научились? Иначе бы точно знали, какой режим реально популярный.

Виталий Янко не работает в ЛК, соответственно спрашивать его о KSN смысла нет. Виталий Янко работает в Агнитуме, соответственно спрашивать его имеет смысл об Аутосте.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

Umnik

Дальше "ты" не читал.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
Чем-то будет похоже на то, как сделано у Матюшека сейчас.

Матоушек тестирует с максимальными настройками всё. Так написано в методологии. Это одна их причин, почему его "тест" абсолютно нерелевантен. Просто чувак прогнулся под Комодо.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.
Матоушек тестирует с максимальными настройками всё. Так написано в методологии. Это одна их причин, почему его "тест" абсолютно нерелевантен. Просто чувак прогнулся под Комодо.

:) А вот выкатит он скоро на x64 тест, Илья... И под кого прогнется? ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович
А вот выкатит он скоро на x64 тест, Илья... И под кого прогнется?

Под Комодо в любом случае.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Так что в итоге делаем с наградами то? Давайте про настройки Аутпоста прекращать флейм, мы все равно их протестили в обоих режимах ;)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Илья Рабинович

Предложение. Раз результаты для некоторых продуктов сильно различны для настроек по умолчанию и максимальных, то максимальные отрелизить вне зачёта, для информации. Их в любом случае найдут энтузиасты, которые интересуются темой, именно они и выкручивают, обычно, рычаги на "максимум", а вот обычного пользователя, которому прокатился катком по ушам маркетинговый отдел крупного производителя, стоит проинформировать в принудительном порядке. :D

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

В общем у нас 2 реальных варианта в итоге:

1. Один комплект наград для обоих вариантов настроек. При этом каждый продукт может получить 2 медали одинакового или различного достоинства.

2. Учитываем только дефотовые настройки, по ним награждаем, а результаты по максимальным даем бонусом.

Кому какой из вариантов ближе?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
365

Тест, как я понял, делается под большинство пользователей. Если в отношении KIS нет сомнений, что большинство юзает его с настройками по-умолчанию, то в отношении комодо, например, и агнитума у меня такой уверенности нет. Кто-то владеет подобной статистикой? Имхо, должны быть две награды, ну или сделать одну награду вроде так: 1) если продукт имеет две награды, и высшая - по дефолтным настройкам (что сомнительно), то оставить высшую; 2) если продукт имеет две награды и высшая по максимальным настройкам - дать награду на 1 меньше высшей; 3) если имеет только одну награду - дать награду на 2 меньше полученной.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
1) если продукт имеет две награды, и высшая - по дефолтным настройкам (что сомнительно), то оставить высшую; 2) если продукт имеет две награды и высшая по максимальным настройкам - дать награду на 1 меньше высшей; 3) если имеет только одну награду - дать награду на 2 меньше полученной.

Типичная ситуация сейчас. На макс. настройках - Золото, на дефолтовых - бронза дай бог. Следуя этой схеме мы даем такому продукту одну Серебряную награду. Я правильно понял идею?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Viktor
2. Учитываем только дефотовые настройки, по ним награждаем, а результаты по максимальным даем бонусом.

Кому какой из вариантов ближе?

2

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Dmitriy K
1. Один комплект наград для обоих вариантов настроек. При этом каждый продукт может получить 2 медали одинакового или различного достоинства.

+1

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik

Два комплекта. Показать возможности отдельно взятого модуля (при том, что это комплекс и модуль второстепенный) как в базе, так и возможности вообще, т.е. в максе.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Виталий Я.

2 комплекта без усреднения. И уточнить название теста. "Тест фаерволов" - вряд ли с методологией стыкуется.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • demkd
      Проблема оказалась в редакции windows, для home нужно дополнительно прописывать флаг в реестр, в RC4 теперь это делается автоматически.
        Добавил функцию для образов.

      ---------------------------------------------------------
       5.0.RC4
      ---------------------------------------------------------
      o Добавлена поддержка включения отслеживания командной строки процессов для "Home" редакций Windows.
        Теперь при включении отслеживания в лог печатается статус этой опции.

      o Функция "Распечатать в лог топ-10 процессов пересекающихся по времени с этим процессом" теперь доступа и при работе с образом,
        если образ сделан при активном отслеживании процессов.

      o Исправлена критическая ошибка при создании файла описания для скопированного в Zoo большого текстового файла (vbs/cmd и т.д.).

       
    • santy
      Привет. По 5.0 RC3 Это работает. (саму команду еще не проверил как работает). И в цепочку процесс укладывается, хотя цепочка достаточно запутана, но к сожалению, отслеживание командной строки не включилось по какой-то причине. Возможно потому что не был отключен антивирус MBAM.
       o В окне истории процессов и задач в контекстное меню процесса добавлен новый пункт: 
         "Распечатать в лог топ-10 процессов пересекающихся по времени с этим процессом"
         Это может быть полезно при поиске процесса модифицировавшего неявно запущенный им процесс. Функция есть в истории процессов и задач, но работает видимо только из активной системы.                           DESKTOP-867G3VL_2025-07-15_20-59-13_v5.0.RC3.v x64.7z
    • demkd
      Да, с этим файлом проблема, починю.
    • PR55.RP55
      В настройках добавить: Отправлять лог применения\выполнения скрипта на сервер\адресату. Уникальный идентификатор прописывается в скрипт при его генерации. т.е. Оператор не запрашивает результат выполнения скрипта у пользователя.    
    • Ego Dekker
      Домашние антивирусы для Windows были обновлены до версии 18.2.14.
×