NSS Labs подвергла критике исследование браузеров от Accuvant

NSS Labs подвергла критике исследование браузеров от Accuvant

Некоторое время назад Accuvant опубликовала отчет об итогах проверки и анализа систем безопасности популярных обозревателей Интернета, согласно которым Google Chrome оказался наиболее защищенным; на втором месте был Internet Explorer, а замкнул тройку Mozilla Firefox. Исследовательская лаборатория NSS Labs выступила с критикой в адрес Accuvant и Google, фактически обвинив их в подтасовках результатов.


Специалисты NSS Labs считают, что Google, будучи заказчиком вышеупомянутого исследования, повлияла на методологию анализа таким образом, чтобы их браузер вышел на первое место, а Firefox не смог занять второй позиции. В документе под названием "Браузерные войны вышли за рамки приличий" (The Browser Wars Just Got Ugly) эксперты лаборатории перечисляют изъяны в методологическом обеспечении проведенного исследования, которые могли существенно повлиять на расстановку сил в процессе проверки систем безопасности. В блоге Sophos Naked Security приведены в качестве примера следующие замечания NSS Labs:

- функция Firefox по борьбе с эксплуатацией отравления фреймов не была учтена при анализе;
- при изучении возможностей противодействия компиляции кода "на лету" (JIT hardening) не был учтен весь спектр проактивных технологий Internet Explorer 9, многие из которых в Chrome не используются;
- ряд компонентов защиты конкурирующих обозревателей, имеющих непосредственное отношение к тематике и цели исследования, был отключен, однако влияние этого отключения на конечные результаты никоим образом не было учтено - что привело к ошибочно отрицательной оценке защитных возможностей этих браузеров;
- выборка вредоносных ресурсов, на которых тестировались контуры защиты, была составлена особым образом именно в пользу Google и ее обозревателя. Сайты брались исключительно из бесплатных общедоступных списков; высококачественные профессиональные базы опасных объектов были проигнорированы. Пояснение, что производители могли и не иметь доступа к таким базам, кажется аналитикам NSS Labs подозрительным.

Эксперты также обратили внимание на время выхода отчета о результатах исследования. В ноябре истекал срок действия контракта между Google и Mozilla, финансирование по которому составляло более 80% общей годовой прибыли производителя Firefox, и о его продлении до сих пор ничего не известно.

Ранее NSS Labs и сама занималась подготовкой и проведением тестов по заказу различных производителей, однако теперь, как заявляют ее представители, лаборатория отказалась от подобных исследований именно в силу того, что заказчики вмешиваются в ход анализа и не всегда способствуют тем самым установлению истины.

Письмо автору

Подпишитесь на новости

Наталья Касперская поставила под сомнение доверие к генеративному ИИ

Генеративный ИИ умеет писать тексты и код, но можно ли на него полагаться? Наталья Касперская считает, что с доверием к таким системам пока больше вопросов, чем ответов. В интервью корреспонденту Anti-Malware.ru Олесе Афанасьевой на BIS Summit она назвала критерий доверенности применительно к генеративному ИИ загадкой.

По объяснению Касперской, доверенная система должна работать с заранее заданными параметрами и обеспечивать предсказуемый результат.

Генеративный ИИ, по её оценке, под это определение не подпадает: он не способен каждый раз выдавать один и тот же результат.

«Критерий доверенности в применении к генеративному искусственному интеллекту для меня является загадкой», — заявила она.

Главная проблема, считает Касперская, — масштаб моделей. Огромное количество параметров и данных делает полноценную проверку такой системы практически недостижимой. Можно протестировать отдельные ответы и сценарии, но это ещё не доказывает надёжность всей модели.

«Вы можете сделать какие-то выборочные проверки, частичные. Они будут выборочными и частичными, они ничего не докажут», — подчеркнула Касперская.

Получается неудобный вопрос для бизнеса и государства: как доверять системе, поведение которой нельзя исчерпывающе проверить? По словам председателя правления АРПП «Отечественный софт», задача создания доверенного ИИ поставлена, но готового способа её решения она пока не видит.

Одними разговорами, считает Касперская, проблему не закрыть. Нужна совместная работа специалистов по ИИ и информационной безопасности, методистов и разработчиков стандартов.

RSS: Новости на портале Anti-Malware.ru