Результат работы фаерволов по каждому из проверяемых нами в тесте сценарию атак оценивался по следующей схеме:
«+» или 1 балл - тест пройден полностью успешно, атака заблокирована автоматически, защитный функционал тестируемой программы не нарушен.
«+/-» или 0.5 балла - атака блокируется только при особых обстоятельствах (например, при правильном выборе пользователя нужного действия по запросу тестируемой программы).
«-» или 0 баллов - тест провален, атака прошла успешно полностью или частично с выводом из строя функционала защиты.
Стоит уточнить важный момент, если в продукте по задумке разработчиков активировался интерактивный режим (ручной режим, режим обучения, параноидальный режим и т.п.), когда на любое действие со стороны той или иной программы выдаётся соответствующий запрос, то, согласно методологии, за это снимается по 0,5 балла. Мы исходим в данном случае из того, что вероятность неверного действия со стороны пользователя многократно возрастает, в связи с чем в реальных условиях атака может легко быть пропущена. Именно поэтому автоматические верные действия со стороны защитной программы должны оцениваться выше.
В части тестовых методов, в которых производилась загрузка файла, невозможно автоматически запрещать загрузку т.к. эти методы использует часть легитимных приложений. Однако продукт должен поставить в известность пользователя о том, что производится загрузка файла и предложить возможность отменить её, если это было сделано, то тест считается успешно пройденным (1 балл), в противном случае тест провален (0 баллов).
Для подведения итогов все полученные баллы складывались между собой (отдельно для "стандартных" и "максимальных" типов настроек), независимо от уровня сложности (простая модель оценки), в результате чего вычисляется итоговый процент набранных каждым фаеровлом баллов от максимально возможного. Лучшие из них награждаются при выполнении следующих условий:
Награда Platinum Firewall Outbound Protection Award присваивается, если фаервол предотвратил более 98% атак. | |
Награда Gold Firewall Outbound Protection Award присваивается, если фаервол предотвратил свыше 80% атак. | |
Награда Silver Firewall Outbound Protection Award присваивается, если фаервол предотвратил свыше 70% атак. | |
Награда Bronze Firewall Outbound Protection Award присваивается, если фаервол предотвратил от 60 до 70% атак. |
Если фаервол предотвратил менее 60% моделируемых внутренних атак, то он считается провалившим тест. Ужесточение условий получения наград, по сравнению с предыдущим аналогичным тестом, связано с увеличением используемых тестов.