NSS Labs подвергла критике исследование браузеров от Accuvant

Некоторое время назад Accuvant опубликовала отчет об итогах проверки и анализа систем безопасности популярных обозревателей Интернета, согласно которым Google Chrome оказался наиболее защищенным; на втором месте был Internet Explorer, а замкнул тройку Mozilla Firefox. Исследовательская лаборатория NSS Labs выступила с критикой в адрес Accuvant и Google, фактически обвинив их в подтасовках результатов.

Специалисты NSS Labs считают, что Google, будучи заказчиком вышеупомянутого исследования, повлияла на методологию анализа таким образом, чтобы их браузер вышел на первое место, а Firefox не смог занять второй позиции. В документе под названием "Браузерные войны вышли за рамки приличий" (The Browser Wars Just Got Ugly) эксперты лаборатории перечисляют изъяны в методологическом обеспечении проведенного исследования, которые могли существенно повлиять на расстановку сил в процессе проверки систем безопасности. В блоге Sophos Naked Security приведены в качестве примера следующие замечания NSS Labs:

- функция Firefox по борьбе с эксплуатацией отравления фреймов не была учтена при анализе;
- при изучении возможностей противодействия компиляции кода "на лету" (JIT hardening) не был учтен весь спектр проактивных технологий Internet Explorer 9, многие из которых в Chrome не используются;
- ряд компонентов защиты конкурирующих обозревателей, имеющих непосредственное отношение к тематике и цели исследования, был отключен, однако влияние этого отключения на конечные результаты никоим образом не было учтено - что привело к ошибочно отрицательной оценке защитных возможностей этих браузеров;
- выборка вредоносных ресурсов, на которых тестировались контуры защиты, была составлена особым образом именно в пользу Google и ее обозревателя. Сайты брались исключительно из бесплатных общедоступных списков; высококачественные профессиональные базы опасных объектов были проигнорированы. Пояснение, что производители могли и не иметь доступа к таким базам, кажется аналитикам NSS Labs подозрительным.

Эксперты также обратили внимание на время выхода отчета о результатах исследования. В ноябре истекал срок действия контракта между Google и Mozilla, финансирование по которому составляло более 80% общей годовой прибыли производителя Firefox, и о его продлении до сих пор ничего не известно.

Ранее NSS Labs и сама занималась подготовкой и проведением тестов по заказу различных производителей, однако теперь, как заявляют ее представители, лаборатория отказалась от подобных исследований именно в силу того, что заказчики вмешиваются в ход анализа и не всегда способствуют тем самым установлению истины.

Письмо автору