Перейти к содержанию
Сергей Ильин

Тест родительских контролей IV (результаты теста)

Recommended Posts

Сергей Ильин

Рад представить вашему вниманию результаты очередного теста родительских контролей.

http://www.anti-malware.ru/parental_control_test_2014

Расклад в этом году получится интересным. Вот краткие результаты теста:

test_pc_4_summary.PNG

Некоторые вендоры очень прилично подтянулись в лидерам, что хорошо видно по динамике результатов (2012-2014)

6.png

Методология теста принципиально не менялась, изменились некоторые детали. Также ужесточились требования к получению наград, был поднят порог порог по ложным срабатываниям

http://www.anti-malware.ru/node/13892

http://www.anti-malware.ru/node/13891

Давайте обсуждать :)

post-4-1398375504_thumb.png

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww

1) Не описали методологию проверки на FA.

2) В ЛК, в парентал-контроле пользуются яндекс.поиском? omfg :lol:

3) 2Миша Кондрашин: +18 - это температура, а не возраст.

Прошлись по дрвепу за блокировку вконтакте и прочего? Ну и правильно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

https - поддерживают ли все продукты.

В общем что оно там себя ведет при попытке отключения, деинсталляции, можно настраивать текст сообщения при блокировке.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Umnik
1) Не описали методологию проверки на FA.

2) В ЛК, в парентал-контроле пользуются яндекс.поиском? omfg :lol:

3) 2Миша Кондрашин: +18 - это температура, а не возраст.

Прошлись по дрвепу за блокировку вконтакте и прочего? Ну и правильно.

Чет я п. 2 не помнял, Слав. О чем ты?

https - поддерживают ли все продукты.

В общем что оно там себя ведет при попытке отключения, деинсталляции, можно настраивать текст сообщения при блокировке.

Такие вопросы нужно задавать на обсуждении методы, по-моему :) Вряд ли АМ все это проверял.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
https - поддерживают ли все продукты.

В общем что оно там себя ведет при попытке отключения, деинсталляции, можно настраивать текст сообщения при блокировке.

HTTPS не все поддерживают, у некоторых это не включено по умолчанию. Например, у лидера KinderGate поддержка https была по умолчанию отключена и в тесте не учитывалась. В новой версии, насколько я знаю, они это исправили.

1) Не описали методологию проверки на FA.

Там описывать то особо нечего, открылся - плюс, не открылся - минус. Побился сайт - минус.

3) 2Миша Кондрашин: +18 - это температура, а не возраст.

В общем-то он и имел ввиду, что если подросток на гормональном фоне перегрелся, то его никакой родительский контроль не остановит :)

Но ИМХО это разговоры в пользу бедных, блокироваться сайты должны все по выбранной тематике.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Результаты солидные. Кстати, родительский контроль вполне можно использовать на машинах родителей, бабушек и дедушек. Дабы допустим при поиске лошади Пржевальского, рядышком с лошадкой не нарисовалось сомнительноё.

Umnik, сейчас вспомнилось. Давно уже что-то тестировал, потом с правами администратора, проигнорировав штатное удаление с запросом пароля, продвинутый деинсталлятор практически все записи в реестре и файловой системе снёс.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков

Спасибо за проделанную работу!

Поздновато уже правила выдачи наград обсуждать, но правильно ли я понимаю, что

решение заблокировавшее 91% сайтов и допустившее 1% ложных срабатываний получит Gold, а решение заблокировавшее 99% сайтов с 1.1% ложных срабатываний получит Silver ?

Хорошо, что такой явной диспропорции не наблюдалось и на итоговом распределении мест практически не сказалось, но по факту приоритет отдавался меньшему количеству ложных срабатываний:

Bitdefender опередил SkyDNS из-за разницы в 1.1% в ложных срабатываниях при почти 6% отставании в блокировках

McAfee опередил Microsoft из-за 2% разницы в ложных срабатываниях при 15% отставании в блокировках

Возможно стоило бы продумать весовой коэффициент.

Жалко, что не рассматривался вопрос легкости/сложности несанкционированного отключения/обхода родительского контроля. Хотя это было бы более трудоёмкое и субъективное тестирование.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
sww
Чет я п. 2 не помнял, Слав. О чем ты?

Смотри таблицы с Bing, Google, Yandex внимательно.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Поздновато уже правила выдачи наград обсуждать, но правильно ли я понимаю, что

решение заблокировавшее 91% сайтов и допустившее 1% ложных срабатываний получит Gold, а решение заблокировавшее 99% сайтов с 1.1% ложных срабатываний получит Silver?

Это справедливо. Ибо 1% ложных срабатываний для такого решения - это практически поражение. Можно вообще наград не давать, если ложных срабатываний больше процента.

Если родительский контроль заблокирует edu.ru (как Ростелеком у меня недавно блокировал virustotal.com), то фтопку такие контроли вообще.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
решение заблокировавшее 91% сайтов и допустившее 1% ложных срабатываний получит Gold, а решение заблокировавшее 99% сайтов с 1.1% ложных срабатываний получит Silver ?

Да, сейчас это так. Ложные срабатывание имеют первостепенное значение.

Есть предложение в следующий раз изменить этот критерий. Принять формулу: Detection Rate - FP = Final Score

Так будет справедливее. Например тот же DrWeb бы поднялся на Gold. Сейчас все же очень жесткая шкала.

Также в следующий раз Gold будем давать только за 95%. Планку надо повышать.

Жалко, что не рассматривался вопрос легкости/сложности несанкционированного отключения/обхода родительского контроля. Хотя это было бы более трудоёмкое и субъективное тестирование.

Это можно запланировать в рамках мини-теста "Самозащита родительских контролей". Как вам идея?

Если родительский контроль заблокирует edu.ru (как Ростелеком у меня недавно блокировал virustotal.com), то фтопку такие контроли вообще.

Или Вконтекте вместе с Youtube :)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков
Это справедливо. Ибо 1% ложных срабатываний для такого решения - это практически поражение. Можно вообще наград не давать, если ложных срабатываний больше процента.

Если родительский контроль заблокирует edu.ru (как Ростелеком у меня недавно блокировал virustotal.com), то фтопку такие контроли вообще.

>>>Ибо 1% ложных срабатываний для такого решения - это практически поражение.

Это отзыв про результаты KIS? :)

А если 1% можно, то почему 1,1% - это уже плохо?

>>> то фтопку такие контроли вообще.

Со всеми бывает. Для этого решение должно позволять администратору вносить сайты в исключения.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Вадим Волков

>>> Да, сейчас это так. Ложные срабатывание имеют первостепенное значение.

>>> Также в следующий раз Gold будем давать только за 95%. Планку надо повышать.

Думается, что многие родители(контроль-то родительский) предпочтут, чтобы его чаду был ошибочно запрещён доступ на сайт, чем пропущен на вредоносный сайт или сайт с нежелательной тематикой. В разумных пределах, конечно, чтобы не возникало постоянно желание отключить надоедливый РК.

По медалькам я бы не посоветовал выбирать РК, разве что победителя. В середнячках для меня был бы предпочтительнее SkyDNS, чем TrendMicro.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
В середнячках для меня был бы предпочтительнее SkyDNS, чем TrendMicro.

Я думаю это будет для всех очевидно, при просмотре результатов теста.

Думается, что многие родители(контроль-то родительский) предпочтут, чтобы его чаду был ошибочно запрещён доступ на сайт, чем пропущен на вредоносный сайт или сайт с нежелательной тематикой. В разумных пределах, конечно, чтобы не возникало постоянно желание отключить надоедливый РК.

Зависит от механизма заточки фильтров. Например, в Семейной безопасности Windows можно настроить, чтобы ребенок мог запросить доступ к нужному сайту. Тогда проблема фолсов решает на раз. А если для этого нужно перелогиниваться в Windows под своей учеткой, запускать программу, вводить пароль и т.д., то это очень быстро надоест. Прощу уж тогда заставить детей работать по белому списку.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Valery Ledovskoy
Это отзыв про результаты KIS? smile.gif

А если 1% можно, то почему 1,1% - это уже плохо?

Я сейчас не являюсь сотрудником или любым другим лицом, продвигающим антивирусы.

При этом уважительно отношусь к любым продуктам, которые строят на страже пользователей, будь то экономический ущерб или даже сугубо психологический.

Но при этом я констатирую (для себя), что 1% ложных срабатываний при блокировке интернет-контента - это непростительно много.

Хорошо, если при тестировании ещё будет учитываться вес того, что блокируется неправомерно.

Если блокируется личная страничка Васи Пупкина - ну и хрен с ним, можно разобраться в рабочем порядке.

Но если у школьника или студента блокируется edu.ru, то, согласитесь, что это больше вред, чем польза.

Со всеми бывает. Для этого решение должно позволять администратору вносить сайты в исключения.

Если пользователь может исключать сайты из блокировки - то да, всё хорошо.

А если я неделю пытаюсь добиться от Ростелекома, почему заблокировали virustotal.com - это уже другое.

Или представьте, что неделю блокируется edu.ru для школьников или студентов.

Напрямую при этом пользователи повлиять на блокировку не могут. Это могут сделать только родители или сотрудники учебного заведения.

И это прямой вред. При этом вполне ощутимый. Т.е. в данном случае мы, защищая от чего-то, блокируем ресурсы, которые жизненно необходимы.

Т.е. я о том, что не проценты ложных срабатываний нужно считать, но и смотреть на то, какие именно ресурсы блокируются неправомерно.

Если это ресурсы очень важные для целевой аудитории - то такой продукт нужно просто снимать с тестирования, а не пытаться его оправдывать.

P.S. Что такое 1% ложняков? Это на 1 миллион сайтов 10 000 ложных срабатываний. А теперь можете посмотреть, сколько интернет-ресурсов сейчас работают хотя бы в рунете, не будем брать весь Интернет.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Т.е. я о том, что не проценты ложных срабатываний нужно считать, но и смотреть на то, какие именно ресурсы блокируются неправомерно.

Если это ресурсы очень важные для целевой аудитории - то такой продукт нужно просто снимать с тестирования, а не пытаться его оправдывать.

А давайте прямо пройдемся по именам. Сделаю подборочку громких FP. Только сразу напоминаю, что приведенные мной сайты категоризированы как порнография, эротика, для зврослых и их подкатегории.

Касперский - reddit.com

SkyDNS - msn.com, answers.com (корежит весь сайт, но формально не блокирует), dailymotion.com

Avira - gameforge.com

K9 - vube.com

А теперь герои пойдут

DrWeb - youtube.com, blogspot.com, vk.com, tumblr.com, reddit.com, vube.com, odnoklassniki.ru, vimeo.com

Microsoft - sohu.com, 163.com, reddit.com, dailymotion.com, livedoor.com, rambler.ru

Бедные дети ....

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT
..., tumblr.com, ...., vimeo.com

Чем плохи для листа блокировки?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Сергей Ильин.

И vk.com тоже почему в минус Dr.Web ставите.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

UIT, потому что это не порно-сайты

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Это верно, однако чёрные списки даруя надежду - сложно ведут во тьму.

:)

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Это верно, однако чёрные списки даруя надежду - сложно ведут во тьму.

:)

Для социальных сетей нужно разбирать содержимое страницы и анализировать его. Если программ не умеет этого делать, то можно как DrWeb, все полностью заблокировать. Я резко против такого подхода.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Анализ содержимого - про текстовый или уже непосредственно до картинок и видео дошли?

Эти возможности программ думаю интересно будет оформить соответствующей таблицей.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин
Анализ содержимого - про текстовый или уже непосредственно до картинок и видео дошли?

Эти возможности программ думаю интересно будет оформить соответствующей таблицей.

Некоторые уже картинки анализируют, например, Семейная безопасность от Microsoft точно это умела еще несколько лет назад. Но все же большинство работает с текстом страниц. Тут проблем на самом деле много. Возьмем например рекламу внутри видео-роликов. Мало кто такое порежет и вообще обнаружит, даже не уверен, какие РК это умеют. Надо тестировать.

Вообще мы думаем сделать табличное сравнение родительских контролей (с минимальными тестами, чтобы доподлинно выяснить наличие тех или иных технологий).

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
JunDF

А ДНС Яндекса не проверили

  • Upvote 5

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
Сергей Ильин

Я честно говоря о нем даже не знал :) SkyDNS протестировали, можно было бы и этот тоже. Есть еще кстати аналогичные сервисы, например, Norton DNS. Я его кстати тестировал у себя дома.

Вот кстати сайт Яндекс.DNS http://dns.yandex.ru/

У них свой катагоризатор или они чей-то лицензируют?

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты
UIT

Вот это должно быть, спасением и защитой в сфере своей компетенции -> Sputnik.ru

Красиво будет в тесте посмотреть на средних/высоких настройках.

Поделиться сообщением


Ссылка на сообщение
Поделиться на другие сайты

  • Сообщения

    • Ego Dekker
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • ArktiTig
      Арктика - северная полярная область Земли, включающая окраины материков Евразии и Северной Америки, почти весь Северный Ледовитый океан с островами и прилегающие к нему части Атлантического и Тихого океанов. Название её происходит от греческого слова arctos (медведь) и связано со звёздами: Полярная звезда, находящаяся почти точно в зените над Северным полюсом, принадлежит к созвездию Малая Медведица.
    • PR55.RP55
      .xml  файлы taskschd.msc Могут быть подписаны  цифровой подписью. Думаю будет нелишним, если uVS будет это фиксировать. т.е. проверять не только подпись целевого файла, но и подпись самого файла\задачи. и писать в ИНфО .  
    • demkd
      ---------------------------------------------------------
       4.15.2
      ---------------------------------------------------------
       o Исправлена ошибка при работе с образом автозапуска.
         Для некоторых процессов команда unload не добавлялась в скрипт при нажатии кнопки "принять изменения".  o Добавлена плашка окна на таскбаре для окна удаленного рабочего стола.
         (при работе с удаленной системой) -----------------------------------------------------------
      Есть проблема с локализацией глюка в редких случаях приводящему к аварийному завершению uVS при активном флаге "Проверять весь HKCR".
      На основе дампов его найти не получается, нужна копия реестра системы с такой проблемой, если кому-то попадется такая проблема, то присылайте архив с копией реестра системы мне на почту.  
×