Тестирование фаерволов I (подготовка)

[GRINDERs 35]

Награждать нужно естественно где фаеры тестировались с настройками по умолчанию (то что вендоры рекомендуют, то и проверяем и за это и награждаем). А далее можно сделать примечание, что будет если поставить на макс и кто тогда будет в выигрыше, правда чем выше настройки тем больше оповещений, это нужно тоже учесть и отразить в отчёте, чтобы юзер смог определиться, что для него удобнее, иначе зчем этот тест вообще нужен

[Сергей Ильин 1538]

И уточнить название теста. "Тест фаерволов" - вряд ли с методологией стыкуется.

Каким образом уточнить? Что же мы тогда тестируем и что тогда тестирует тот же Матюшек?

[Mr. Justice 771]

В общем у нас 2 реальных варианта в итоге:

1. Один комплект наград для обоих вариантов настроек. При этом каждый продукт может получить 2 медали одинакового или различного достоинства.

2. Учитываем только дефотовые настройки, по ним награждаем, а результаты по максимальным даем бонусом.

Кому какой из вариантов ближе?

Я за то чтобы результаты учитывались отдельно. Иначе появятся претензии типа: "а почему в итоге так скомбинировали (суммировали), а не эдак".

Второй вариант из указанных выше тоже неплох. Он, по сути дела, является вариацией раздельного учета.

Если из предложенных выше, то я за 2.

[Vofres 20]

Я за то чтобы результаты учитывались отдельно. Иначе появятся претензии типа: "а почему в итоге так скомбинировали (суммировали), а не эдак".

Второй вариант из указанных выше тоже неплох. Он, по сути дела, является вариацией раздельного учета.

Если из предложенных выше, то я за 2.

Полностью поддерживаю. Усреднение, имхо, неправильно. Иначе получится как в анекдоте - "У нас с другом было 2 курицы. Друг съел их обе. В среднем, каждый из нас съел по одной курице, но я-то голодный!"

[Сергей Ильин 1538]

Полностью поддерживаю. Усреднение, имхо, неправильно. Иначе получится как в анекдоте - "У нас с другом было 2 курицы. Друг съел их обе. В среднем, каждый из нас съел по одной курице, но я-то голодный!"

Вы не поняли, в предложенном варианте 2. не будет усреднения.

Лучше один раз показать (условно):

Outpost Internet Security 2011 (макс.) - Золото

Kaspersky Internet Security 2011 (макс.) - Золото

Kaspersky Internet Security 2011 (деф.) - Серебро

Outpost Internet Security 2011 (деф.) - Серебро

...

В итоге у Kaspersky Internet Security 2011 - Золото и Серебро, тоже самое и у Outpost.

[Виталий Я. 859]

Каким образом уточнить? Что же мы тогда тестируем и что тогда тестирует тот же Матюшек?

Proactive Security (Suites) Challenge via http://www.matousec.com/projects/proactive...nge/results.php

The products are configured to their highest usable security settings and tested with this configuration only. We define the highest security settings as settings that the user is able to set without advanced knowledge of the operating system. This means that the user, with the skills and knowledge we assume, is able to go through all forms of the graphic user interface of the product and enable or disable or choose among several therein given options, but is not able to think out names of devices, directories, files, registry entries etc. to add to some table of protected objects manually, not even if such a configuration is suggested on the product's support forum or website.

Оптимально назвать "Тест проактивной комплексной защиты", если он включает leak-test, spying test, autorun test, self-defense test, etc.

[365 0]

Типичная ситуация сейчас. На макс. настройках - Золото, на дефолтовых - бронза дай бог. Следуя этой схеме мы даем такому продукту одну Серебряную награду. Я правильно понял идею?

Правильно. А если имеется только одна - например, золото, то дать бронзу. Предложил как вариант, однако лично мне ближе

При этом каждый продукт может получить 2 медали одинакового или различного достоинства

[Сергей Ильин 1538]

Оптимально назвать "Тест проактивной комплексной защиты", если он включает leak-test, spying test, autorun test, self-defense test, etc.

Спрашивается тогда, причем тут фаерволл ...

[MORDRED 80]

Что думаете?

думаю вам стоит выложить детально те настройки, которые использовались при максимальных настройках фаервола, а то люди будут голову ломать, что вы там крутили и меняли во время теста, и меняли ли вообще. С дефолтными тут все предельно ясно.

[Виталий Я. 859]

Спрашивается тогда, причем тут фаерволл ...

А когда Матушек тестировал сами фаерволы? Не помню. Если сравниваешь тесты с Матушековскими, то называть "тестом фаерволов" как минимум смешно.

А еще я могу показать пальцем на Рубенкинга, который весьма странно трактует тесты именно фаерволов, забивая на хипсы.

[vaber 350]

Еще раз выскажу свои мысли по поводу данного тестирования.

Я "за" две системы оценки, за дефолт и за максимальные. Причем, под "максимальные" понимаются настройки, которые можно выставить одной кнопкой, галкой, баллуном и т.д. (то есть предусмотренный производителем режим повышенной защиты, если такой имеется).

Я бы был не против и одного теста, на дефолте с одной оценкой. Но тогда тест должен включать и тест на ложные срабатывания. Тут такая же аналогия, как раньше проводили тесты on-demand - тупо сканировали коллекцию файлов. Кто больше задетектил - тот и победитель. Со временем всех озарила мысль, что антивирусы с более высоким детектом могут иметь и большее кол-во ложных срабатываний на легитимные файлы.

Так и в этом тестировании: тестер запускает leaktest, который производит какие-то действия в системе часть (или совокупность) которых могут выполнять любые легитимные программы. На алертах тестер жмет "запретить", "завершить" и т.д. подразумевая, что подобные действия могла бы выполнять вредоносная программа и таким образом она бы выдала себя и ее работу можно было бы прекратить благодаря функционалу защитного продукта. Но совершено не берется в расчет то, что подобные действия могла бы выполнять и легитимная программа. И защитный продукт выдавал бы алерт на ее (или даже без вопросов блокируя ее работу).

Исходя из подобного хода тестирования и методики оценки, можно очень легко и быстро написать свой "HIPS", который бы похукал все, что можно и выдавал бы алерт на любой "чих". И это было бы золото Это что, супер-мега-хипс такой бы вышел?

Именно по этому нужно вводить в тестирование проактивных защит и тест на ложные срабатывания, где как и в случае с leaktests жать "запретить"и следить, как будет работать легитимная программа. А тестеру исходить из того, что он не знает, запускается однозначно малвара или же легитимное приложение. Тогда оценка будет справедливой. И золото не получит программа, которая помимо блокировки leak-ов заблокировала половину приложений или нарушила их работу.

Такие хипс, конечно, же найдут свою нишу среди пользователей, которым нравится от большого кол-ва сообщений от защитного продукта ощущать себя защищеннее, нравится контролировать происходящее в системе и куда что "ломится".

Но продукты, рассчитанные на "для всех" не могут себе позволить нарушить работу даже одного из ста легитимного приложения (будь-то какой редактор диска, дефрагментатор, anti-cheet, какой-либо протектор на новой игре и т.д.). Именно потому у них и соответствующие by-default настройки. Чтобы работало у всех на любых системах с любым софтом и чтобы не разбирающийся человек не имел проблем с работой нужных ему приложений. А защиту от вредоносных программ (не leaktests) они все-равно получают полноценную, реализованную не только через исключительно hips, требующий решения самого пользователя. А для желающих полного контроля - имеется специальный режим.

[Сергей Ильин 1538]

думаю вам стоит выложить детально те настройки, которые использовались при максимальных настройках фаервола, а то люди будут голову ломать, что вы там крутили и меняли во время теста, и меняли ли вообще. С дефолтными тут все предельно ясно.

Детализируем насколько позволит формат отчета, все все описывать нет смысла. Тем более что в большинстве продуктов макс. настройки выставляются довольно просто.

Причем, под "максимальные" понимаются настройки, которые можно выставить одной кнопкой, галкой, баллуном и т.д. (то есть предусмотренный производителем режим повышенной защиты, если такой имеется).

Очень верное замечание кстати по поводу максимальных настроек.

[NOSS 130]

Лучше один раз показать (условно):

Outpost Internet Security 2011 (макс) - Золото

Kaspersky Internet Security 2011 (макс.) - Золото

Kaspersky Internet Security 2011 (деф.) - Серебро

Outpost Internet Security 2011 (макс) - Серебро

...

В итоге у Kaspersky Internet Security 2011 - Золото и Серебро, тоже самое и у Outpost.

Вроде как вкралась ошибка...

[Сергей Ильин 1538]

Вроде как вкралась ошибка...

Действительно вкралась - в последней строка "(деф.)" должно быть. Я думаю, что принцип все поняли.

[GReY 35]

могу показать пальцем на Рубенкинга, который весьма странно трактует тесты именно фаерволов, забивая на хипсы

Не совсем - хипс у него оценивается в комплексе со всем остальным в blocking, по принципу произошло заражение или нет, то есть как Dynamic test по общепринятой классификации.

А фаервол изначально-то и означал межсетевой экран, лишь в последнее время в среде персональных компьютеров слившись с HIPS.

[Виталий Я. 859]

Не совсем - хипс у него оценивается в комплексе со всем остальным в blocking, по принципу произошло заражение или нет, то есть как Dynamic test по общепринятой классификации.

А фаервол изначально-то и означал межсетевой экран, лишь в последнее время в среде персональных компьютеров слившись с HIPS.

Да щаз! Даже не цитируя - он вопросы Anti-leak с окрасом окошек в разный цвет принял за "поведенческий анализатор", которого ему никто и не обещал (мама миа, и не переспросил же!)

Игра в Joe User доводит, мягко говоря, до полной FMCG головного мозга. Что его твиты с конференций Касперского и доказывают.

[Danilka 678]

ИМХО вообще не давать наград, а результаты тестирования сделать в виде аналитики.

[Сергей Ильин 1538]

ИМХО вообще не давать наград, а результаты тестирования сделать в виде аналитики.

Плохой вариант, так как это будет не в формате теста, т.е. мы снизим ценность материала значительно. А на него суммарно потрачены значительные для бюджета АМ деньги

[Danilka 678]

Плохой вариант, так как это будет не в формате теста, т.е. мы снизим ценность материала значительно.

Для широкой аудитории да, народ не любит читать и думать, лучше посмотреть на награды и все понять без слов. Но правильнее, на мой взгляд, данный тест представлять в виде аналитики с указанием результатов. Так как в каждом продукте есть свои нюансы, свои настройки и т.д. Да и "просвещать" людей надо.

[DynaSoft 25]

Для широкой аудитории да, народ не любит читать и думать, лучше посмотреть на награды и все понять без слов. Но правильнее, на мой взгляд, данный тест представлять в виде аналитики с указанием результатов. Так как в каждом продукте есть свои нюансы, свои настройки и т.д. Да и "просвещать" людей надо.

Только после перепечатки и редактирования такого материала в какой-нибудь "компьютер-мурзилке" или "синусе", читатель вообще ничего не поймёт. Награды обязательно должны быть.

[A. 876]

Игра в Joe User доводит, мягко говоря, до полной FMCG головного мозга. Что его твиты с конференций Касперского и доказывают.

[Killer 55]

ИМХО вообще не давать наград, а результаты тестирования сделать в виде аналитики.

Так ведь аналитика всегда прикладывается к тестам. На награды я тоже не смотрю, но все же они не мешают.

PS

Комод обновился до версии 5.5

[Сергей Ильин 1538]

Комод обновился до версии 5.5

Comodo и так рулит и без обновления до новой версии

[Valery Ledovskoy 1082]

Но правильнее, на мой взгляд, данный тест представлять в виде аналитики с указанием результатов. Так как в каждом продукте есть свои нюансы, свои настройки и т.д. Да и "просвещать" людей надо.

Всё то же самое касается и тестирования антивирусов. Но в тех тестированиях редко кто предлагает убрать награды.

[NOSS 130]

ИМХО вообще не давать наград, а результаты тестирования сделать в виде аналитики.

Зачем рубить с плеча?

2 комплекта без усреднения. И уточнить название теста.

Два комплекта. Показать возможности отдельно взятого модуля (при том, что это комплекс и модуль второстепенный) как в базе, так и возможности вообще, т.е. в максе.

Всем сестрам по серьгам.