Тест родительских контролей I (результаты)

[Сергей Ильин 1538]

А как вы в целом оцениваете результаты теста?

Меня не покидает мысль о допустимом пропуске пары процентов нежелательных сайтов. Т.е. такой порог, при котором найти незаблокированный нежелательный контент специально будет проблематично. А так получается, что 80% - это на деле означает, что ребенок/подросток прокликает первую десятку в гугле и откроет пару сайтов точно. Теряется ценность защиты.

Какой вообще адекватный на ваш взгляд уровень блокировки по данной методологии теста?

[_Stout 131]

А как вы в целом оцениваете результаты теста?

Меня не покидает мысль о допустимом пропуске пары процентов нежелательных сайтов. Т.е. такой порог, при котором найти незаблокированный нежелательный контент специально будет проблематично. А так получается, что 80% - это на деле означает, что ребенок/подросток прокликает первую десятку в гугле и откроет пару сайтов точно. Теряется ценность защиты.

Какой вообще адекватный на ваш взгляд уровень блокировки по данной методологии теста?

96% вполне адекватно ;-). Думаю, что имеет смысл в будушем ужесточить критерии. IMHO 90% это минимум, ниже которого РК просто не эффективен (для категории порно однозначно)

[Кирилл Керценбаум 671]

А как вы в целом оцениваете результаты теста?

Мое мнение - добиться 100% эффективности не представляется реальным, а какой порог не срабатывания является адекватным - вопрос философский, но 95% - это необходимый минимум. Однако на мой взгляд для Родительского контроля не менее важны возможности мониторинга, это своего рода Превентивная защита, так как 100% Реактивной защиты обеспечить не получается. Например, достаточно хорошая реализация этого заложена в бесплатном Norton Online Family, который к сожалению страдает другими недостатками, но направление развития мне кажется здесь наиболее верным

[Сергей Ильин 1538]

Мое мнение - добиться 100% эффективности не представляется реальным, а какой порог не срабатывания является адекватным - вопрос философский, но 95% - это необходимый минимум.

Согласен, у меня такая же позиция. Андрей Никишин знает вопрос на более детальном уровне, но мне видится, что проблема интернет-фильтрации очень сходна с антиспамом. Точно такая же фильтрация по сути, только протокол другой. Методы анализа и блокировки тоже должны работать примерно одни и те же. Таким образом, если для антиспама считается очень хорошим уровень 98%+, то такой же должен быть и для родительского контроля ИМХО.

[strat 275]

я вот тут подумал... 80% один из 5 сайтов откроется, 90% 1 из 10.

а в реальном случае будет так - кто-то задает запрос, щелкает по ссылке, варианты

1) 80% щелкаем по 1 2 3 4 все время блок, 5-й откроется

2) 90% щелкаем 1 2 3 4 5 6 7 8 9 все блокируется, юзер просто бросает это дело

Т.е. один из пяти сайтов или один из 10 это может быть и первый и в середине и в конце, шансы на то что юзер прекратит клики т.к. видит "все блокируется" высоки если в конце.

Вариант теста на потом - проверять, сколько сайтов ПОДРЯД будет заблокировано.

п.с. а может на алерте о блокировании давать грозную надпись типа "Заблокирован сайт запрещенной тематики, действие занесено в отчет и доступно администратору для просмотра" это может и психологически подтолкнуть юзера прекратить попытки.

[Сергей Ильин 1538]

а может на алерте о блокировании давать грозную надпись типа "Заблокирован сайт запрещенной тематики, действие занесено в отчет и доступно администратору для просмотра" это может и психологически подтолкнуть юзера прекратить попытки.

Хорошая мысль. Такие сообщения могут сподвигнуть юзера прекратить свои попытки, так как это только усугубит его вину потом - в угол поставят точно

[Umnik 997]

О блокеровке сообщают все. Но я не думаю, что нужно так сильно давить психологически, ведь ссылка могла свалиться из спама почты, IM, зараженный сайт, незараженный сайт с неадекватной рекламой и т.д. То есть ребенок и не делал ничего, а тут его так сильно испугали.

[Kapral 311]

О блокеровке сообщают все. Но я не думаю, что нужно так сильно давить психологически, ведь ссылка могла свалиться из спама почты, IM, зараженный сайт, незараженный сайт с неадекватной рекламой и т.д. То есть ребенок и не делал ничего, а тут его так сильно испугали.

А если ребенок не делал ничего 20 раз подряд?

[Umnik 997]

Ну вот я и раньше кликал на все линки в аське, и сейчас так делаю.

[Kapral 311]

На живца ловишь?

[365days 30]

Вариант теста на потом - проверять, сколько сайтов ПОДРЯД будет заблокировано.

Абсолютно бессмысленная трата сил на выяснение заранее известного результата (или заведомо ложного при малой выборке) - теория вероятности. Сами же себе противоречите - если один из десяти сайтов не блокируется он в равной степени вероятности окажется в начале, или в середине, или в конце списка. Т.е. если судить по блокируемым подряд сайтам - то это будет где-то середина списка. Так конечно можно судить о проценте пропущенных сайтов - но приэтом необходимо очень большое кол-во наблюдений.

80% ИМХО - это очень мало. Сами посудите: 20% - один из пяти открытых сайтов. Опять же один из пяти - при последовательном открытии он может быть не обязательно последним, а к примеру, первым. Т.е. наибольшая вероятность, что ребенок откроет его со второй или третьей попытки (середина списка). ИМХО нижний уровень - 95%(каждый двадцатый - откроется в среднем с десятой попытки), платина -99% (благо 100% в нашем мире нигде и никогда быть не может) - в среднем откроется с 50-й попытки. Вроде так.

[365days 30]

А, ночью не спится, отпишусь по вашим тестам.

Ваш сайт меня поражает – вроде с претензией на научность, на форумах сидят умные люди и с таким же умным видом вполне серьезно обсуждают результаты этих тестов. Тут хоть стой, хоть падай. Где-то я отписался в сомнении к тестам по поводу субъективности администрации, здесь – по поводу их антинаучности.

Да, они антинаучны. Почему? Да потому что, чтобы проводить какие-нибудь статистические исследования, о результатах которых можно более или менее достоверно говорить, необходимо иметь понятие об этой самой статистике. Мне же даже мои атрофированные отрывочные знания позволяют видеть в ваших исследованиях только маркетинговый ход, направленный на домохозяек и все.

Вот что означают результаты последнего теста? 87%, 96% - это, конечно круто, но вы ведь образованные люди – эти цифры обозначают не более, чем результаты, полученные в выборке, т.е. то, что в отобранных 40 ссылках было заблокировано 87 и 96% сайтов соответственно и ВСЕ. По какому праву вы так легко переносите эти данные на генеральную совокупность(реальность)? На каком основании посчитали это возможным? Потому что так захотелось? Так легче и понятнее народу? Это же смешно.

Где хотя бы минимальная статистическая обработка данных? Какова репрезентативность выборки? Каков уровень значимости? Откуда я знаю,насколько данные, полученные в выборке соответствуют реальности(генеральной совокупности)? Я, например, данные статистического исследования без как минимум указанного уровня значимости даже во внимание не принимаю. Как ведь замечательно знать, что полученные данные в 95% (к примеру) соответствуют действительности (это, разумеется, не с неба надо брать ).

Во-вторых, делаются интересные выводы: касперский 96%, авира 85% - о-о! касперский круче, ему золото! На основании чего делаются такие заключения, позвольте спросить? Потому что цифра 96 больше цифры 85? Это глупость, которая ни о чем не говорит – вы ведь исследуете не один объект, а большое количество наблюдений – стат. совокупность. Выявите статистически значимую разность (есть на это коэффициенты) – тогда и можно будет обсуждать, кто круче, а кто нет.

Короче, хотелось сказать: тесты ваши ненаучны. Они могут дать разве что крайне приблизительную оценку АВ продуктам, и уж ни в коем случае здесь не стоит оперировать цифрами и разделять на золото, платину и т.д.

Хотя нет, все правильно и замечательно, они дают полную картину. За одним "Но" - их стоит рассматривать только в своих выборках (как в данном случае в этих 800 ссылках) и ни в коем случае их нельзя распространять на общую совокупность - реальный серфинг в инете.

[_Stout 131]

Мое мнение - добиться 100% эффективности не представляется реальным, а какой порог не срабатывания является адекватным - вопрос философский, но 95% - это необходимый минимум. Однако на мой взгляд для Родительского контроля не менее важны возможности мониторинга, это своего рода Превентивная защита, так как 100% Реактивной защиты обеспечить не получается. Например, достаточно хорошая реализация этого заложена в бесплатном Norton Online Family, который к сожалению страдает другими недостатками, но направление развития мне кажется здесь наиболее верным

Кирилл, ты прав насчем мониторинга и прочего функционала. Но полагаю,что стоит отделить мух (технологии детектирования) от котлет (функционал, не влияющий на качество детекта). Я считаю, что важно иметь online доступ для родителей к статистике, важно иметь возможность ограничить время в сети, важно ... много чего важно и обязано быть в хорошем РК, но эти ф-ции будут бесполезны если прпускать каждый второй порно сайт. Согласен?

Согласен, у меня такая же позиция. Андрей Никишин знает вопрос на более детальном уровне, но мне видится, что проблема интернет-фильтрации очень сходна с антиспамом. Точно такая же фильтрация по сути, только протокол другой. Методы анализа и блокировки тоже должны работать примерно одни и те же. Таким образом, если для антиспама считается очень хорошим уровень 98%+, то такой же должен быть и для родительского контроля ИМХО.

И да и нет. Задачи похожи, но все же я не стал бы смешивать. Насчет 98% согласен. Это отличный результат. Получить близко к 100% очень-очень сложно.

[sww 486]

Хотя нет, все правильно и замечательно, они дают полную картину. За одним "Но" - их стоит рассматривать только в своих выборках (как в данном случае в этих 800 ссылках) и ни в коем случае их нельзя распространять на общую совокупность - реальный серфинг в инете.

Кэп?

Как придумаете как проводить реальные научные тесты на выборке в интернет - приходите, обсудим

[VladB 60]

работа проведена большая, спору нет. Но есть ряд вопросов:

1. Если вы тестируете родительский контроль, то как можно его тестировать лишь по одному из параметров? Ведь выборка по "Порнография и эротика" это лишь один параметр из порядка 8, которые сегодня указаны в тех же продуктах Лаборатории Касперского. Или не менее 4-х в других продуктах

2. Если же взять параметр не "Порнография", а предположим "Наркотики", то результаты будут совершенно иные (в процентном отношении). Хотя, не спорю, лидеры будут те же.

3. Если тест проводился для продуктов российского рынка, то на мой взгляд, стоило бы все же брать русскоязычные версии продуктов, так как они, как мне кажется, пользуются большей популярностью на русскоязычном рынке.

Если я не прав, поправьте меня

[Кирилл Керценбаум 671]

Согласен?

Андрей, конечно, на 100%

[_Stout 131]

по поводу их антинаучности.

Да, они антинаучны. Почему? Да потому что, чтобы проводить какие-нибудь статистические исследования, о результатах которых можно более или менее достоверно говорить, необходимо иметь понятие об этой самой статистике. Мне же даже мои атрофированные отрывочные знания позволяют видеть в ваших исследованиях только маркетинговый ход, направленный на домохозяек и все.

Хоть я и не администрация, но Спасибо за критику. Она имеет право на жизнь. Раз уж ты обладаешь познаниями в статистике и исследованиях, то помоги коллегам сделать реально научную работу. Только прошу бз общих слов типа "надо доказать релевантность выборки" и т.д. а на примерах Что и как нужно конкретно сделать (по шагам), чтобы '365days' и другие коллеги считали тест научным

И второй вопрос. А нафига его делать научным? Интернет, в отличие от людей меняется с каждой неделей кардинально и то, что сегодня ядро сети, завтра будет в хвосте. А порно как раз тот самый Long Tale Сети, который меняется каждый день (и час). Проводить тест на Alexa Top 1M? Да, там есть порнуха, но будет достаточно забить ХХ ссылок в базу и получать 100% детект (как это происходит с VB 100%). А вот предложенный АМ вариант похож на жизнь гораздо больше. Если твой вариант будет похож на жизнь еще больше, то я уверен, что АМ с огромным удовольствием воспользуется твоими рекомендациями.

[Umnik 997]

Kapral

Сейчас - да. А раньше просто кликал, по наивности.

1. Если вы тестируете родительский контроль, то как можно его тестировать лишь по одному из параметров? Ведь выборка по "Порнография и эротика" это лишь один параметр из порядка 8, которые сегодня указаны в тех же продуктах Лаборатории Касперского. Или не менее 4-х в других продуктах

2. Если же взять параметр не "Порнография", а предположим "Наркотики", то результаты будут совершенно иные (в процентном отношении). Хотя, не спорю, лидеры будут те же.

Во время обсуждения методы решили отказаться. Это пилотный тест и тестеровщики бы просто не смогли в адекватные сроки провести работу с несколькими категориями. Потому ограничились наиболее популярной. В следующий раз, скорее всего, будет расширение списка категорий.

3. Если тест проводился для продуктов российского рынка, то на мой взгляд, стоило бы все же брать русскоязычные версии продуктов, так как они, как мне кажется, пользуются большей популярностью на русскоязычном рынке.

Технология не зависит от языковой локализации продукта. Каждый из продуктов представлен _на мировом_ рынке и тест проводился с учетом этого. Зато от языковой локализации могут зависеть версии. Та же Авира, как уже было сказано, выпускает новые версии на русском языке позже, чем на английском. Соответственно к результату могли придраться: "Как так, вон, в релизе версия ххх, а у вас была ххх-1".

[_Stout 131]

работа проведена большая, спору нет. Но есть ряд вопросов:

1. Если вы тестируете родительский контроль, то как можно его тестировать лишь по одному из параметров? Ведь выборка по "Порнография и эротика" это лишь один параметр из порядка 8, которые сегодня указаны в тех же продуктах Лаборатории Касперского. Или не менее 4-х в других продуктах

2. Если же взять параметр не "Порнография", а предположим "Наркотики", то результаты будут совершенно иные (в процентном отношении). Хотя, не спорю, лидеры будут те же.

3. Если тест проводился для продуктов российского рынка, то на мой взгляд, стоило бы все же брать русскоязычные версии продуктов, так как они, как мне кажется, пользуются большей популярностью на русскоязычном рынке.

Если я не прав, поправьте меня

Можно я отвечу (это будет IMHO)

1. Истинная правда. Тестировать надо больше категорий. И результаты от категории к категории будет разный. Почему порно? Самая частая жалоба. (Internet is for porn как известно) Это первый тест и я надеюсь, что второй и последующие тесты РК будут проводиться по большему кол-ву категорий. По крайней мере я в этом заинтересован

2. Результаты будут другие. 100% И не факт, что лидеру остануться прежние.

3. Тоже согласен. Набор программ стоит расширить и добавить, как минимум, специализированные утилиты.

4. А еще можно и на другие языки посмотреть.

[VladB 60]

Kapral

Во время обсуждения методы решили отказаться. Это пилотный тест и тестеровщики бы просто не смогли в адекватные сроки провести работу с несколькими категориями. Потому ограничились наиболее популярной. В следующий раз, скорее всего, будет расширение списка категорий.

Технология не зависит от языковой локализации продукта. Каждый из продуктов представлен _на мировом_ рынке и тест проводился с учетом этого. Зато от языковой локализации могут зависеть версии. Та же Авира, как уже было сказано, выпускает новые версии на русском языке позже, чем на английском. Соответственно к результату могли придраться: "Как так, вон, в релизе версия ххх, а у вас была ххх-1".

1. В таком случае необходимо и тест назвать иначе. Что-то типа тестирование блокирования порнографии при использовании родительского контроля.

2. Не согласен по поводу локализации. Ведь при использовании англоязычных продуктов блокирование в первую очередь будет направлено на англоязычные ссылки. Уже проверял ранее.

[Umnik 997]

2. Не согласен по поводу локализации. Ведь при использовании англоязычных продуктов блокирование в первую очередь будет направлено на англоязычные ссылки. Уже проверял ранее.

Тогда это огромная проблема вендора. Кстати, технически это сделать сложнее, чем сделать правильно - базы нужно разделять на локализации.

[VladB 60]

Тогда это огромная проблема вендора. Кстати, технически это сделать сложнее, чем сделать правильно - базы нужно разделять на локализации.

Более того, наблюдал как одна и та же страница (вернее страница с одинаковым содержанием) на одном и том же сайте блокировалась на английском языке, но была доступна на русском

[Сергей Ильин 1538]

3. Если тест проводился для продуктов российского рынка, то на мой взгляд, стоило бы все же брать русскоязычные версии продуктов, так как они, как мне кажется, пользуются большей популярностью на русскоязычном рынке.

Честно говоря не вижу большой проблемы в том, что взяли в тест версии не на русском языке. Движки идентичны, а все равно все обновления модулей/билдов в анг. версиях во многих случаях появляются быстрее.

Короче, хотелось сказать: тесты ваши ненаучны. Они могут дать разве что крайне приблизительную оценку АВ продуктам, и уж ни в коем случае здесь не стоит оперировать цифрами и разделять на золото, платину и т.д.

Отвечу вопросом на вопрос. А зачем и кому нужны в данном контексте научные тесты? Вот была бы там куча формул, коэффициентов, расчетов и прочего. Поверьте, это была бы не проблема все посчитать и описать в отчете. Чтобы реально это дало? Родителям стало бы проще читать этот отчет о тестировании, проще понимать какой родительский контроль лучше, проще принимать решение?

А я отвечу. Нифига было бы не лучше и вся эта "научность" только повредила бы. Я даже более чем уверен, вы можете перетестировать на другой коллекции урлов, полученных по другому принципу, - результаты будут примерно такие же. Да, я больше практик, несмотря на то, что окончил МФТИ, я больше доверяю результатам экпериментов, которые корректно поставлены. Вы ничего не сказали на тему корректности эксперимента и о сделанной выборке. Если на ваш взгляд выборка сделана неверно, то напишите почему, было бы очень интересно услышать вашу точку зрения.

Хотя нет, все правильно и замечательно, они дают полную картину. За одним "Но" - их стоит рассматривать только в своих выборках (как в данном случае в этих 800 ссылках) и ни в коем случае их нельзя распространять на общую совокупность - реальный серфинг в инете.

Опять такие хочется уточнений, почему НЕЛЬЗЯ.

Ведь при использовании англоязычных продуктов блокирование в первую очередь будет направлено на англоязычные ссылки. Уже проверял ранее.

Влад, что значит в первую очередь? Блок или есть или его нет.

[VladB 60]

Влад, что значит в первую очередь? Блок или есть или его нет.

На самом деле не совсем так. См. мое сообщение выше

[Umnik 997]

Более того, наблюдал как одна и та же страница (вернее страница с одинаковым содержанием) на одном и том же сайте блокировалась на английском языке, но была доступна на русском

Такое как раз возможно легко.