Компания Innostage создает новую методику оценки работы синих хакеров, участвующих в кибербитвах. Ее использование позволит сделать данную оценку более объективной и прозрачной, однако в отрасли не все считают, что оно увеличит ценность рейтингов защитников для работодателей.
Сегодня кибербитвы нередко помогают бизнесу в поиске высококвалифицированных специалистов по информационной безопасности. Им, в свою очередь, состязания позволяют повысить свои компетенции. Понять, кто из участников состязаний является ценным кадром, компаниям помогают рейтинги красных и синих хакеров, составляемые по итогам кибербитв.
Рейтинги красных хакеров сейчас достаточно прозрачны, так как главным образом составляются на основе оценки количества успешных атак. Несколько методик оценки работы синих команд, существующих сегодня, учитывают специфику кибербитв, в которых участвуют защитники. Однако они достаточно субъективны, так как не отражают полного вклада команд в защиту инфраструктуры. Связано это с тем, что данные методики не охватывают все аспекты работы защитников. Нет и единого понимания о том, что можно считать инцидентом.
По мнению специалистов Innostage, методика оценки синих хакеров, которая создается компанией, позволит эффективнее оценивать их работу. Организаторы кибербитв и владельцы инфраструктуры в результате станут лучше понимать недостатки в работе команд и изъяны своих информационных систем. Сами синие хакеры будут лучше понимать, уровень каких компетенций им необходимо повысить.
В соответствии с методикой Innostage баллы будут начисляться в зависимости от конкретных и измеримых показателей уровня навыков и знаний защитников, а также эффективности их работы: обнаружения инцидентов, времени реакции на них и предотвращения.
Прозрачности оценок методика позволяет добиться, делая процесс расчета и суммирования показателей полностью понятным для защитников: они будут видеть, что учитываются все аспекты их работы.
Также методика предусматривает обратную связь от создателей рейтингов. Это позволит защитникам понимать, какие аспекты их работы получили положительную оценку и в каких направлениях им нужно развиваться.
Итоговые рейтинги Innostage предлагает размещать в открытом доступе, отмечая, что так они станут широко известными и будут мотивировать защитников.
"Необходимо стандартизировать сценарии проведения всех кибербитв. Их организаторы, различные вендоры из сферы информационной безопасности, должны создать рабочую группу и начать обсуждать разработку стандартов. Это поможет рейтингам синих хакеров одинаково учитываться в бизнес-сообществе. И даст защитникам уверенность, что результаты их участия в любой кибербитве будут зачтены работодателем", — отметил Антон Калинин, руководитель центра развития навыков кибербезопасности Innostage.
Говоря с журналистом Anti-Malware.ru про оценку расследования инцидентов Алексей Пятигорский, советник генерального директора ГК "Солар", отметил, что осуществить ее крайне сложно. По его словам, "киберразведка" — TI, ТН и т. д.— это огромные ресурсы: люди, время, деньги. Оценивать этот процесс и ждать, что защитники будут охотно о нем рассказывать — бессмысленно.
"Кибербитвы" и "киберучения" сродни спортивным единоборствам. Безусловно, можно отражать некие параметры их команд. Но по правилам и с ограничениями. Ну странно было бы оценивать фигурное катание, хоккей на льду, и бег на коньках, потому что в этих видах спорта есть: лед, коньки, униформа, место проведения соревнований и время. "Прикладные" боевые искусства имеют навскидку всего одно правило: "Любой поединок больше 6 секунд считается проигранным". Если использовать подобный подход, то, наверное, да, рейтинг будет уважаем, — заявил Алексей Пятигорский.
Говоря о том, как можно сделать рейтинги синих хакеров объективными, он отметил, что на топовых конференциях результаты атак оценивают по времени.
"Первые взломали систему, не важно сколько удерживали, если время "удержания" попало в "норматив", заранее определенный для этой системы. Возможно и с командами синих так. Утрируя: взломали, минус 1 балл. Вернули контроль над системой за "нормативное время" — плюс два балла", — пояснил Алексей Пятигорский.
По словам Валерия Степанова, руководителя направления Центра компетенций по информационной безопасности "Т1 Интеграция", чтобы рейтинги защитников стали объективными, необходимо выстроить список общих критериев. Это позволит использовать унифицированный подход при оценке работы команды в любой кибербитве.
"Основная идея оценки работы синих хакеров соответствует той модели, которой мы придерживаемся на мероприятиях CyberCamp. Время расследования, реагирования и полнота выполненных работ являются ключевыми показателями эффективности команды. Помимо этих параметров, мы используем коэффициент сложности инцидента. Более объективной оценку работы защитников может сделать использование коэффициентов “сложности” или “объемности” инцидента", — считает менеджер продукта сервиса киберучений Jet CyberCamp "Инфосистемы Джет" Екатерина Рудая.
По ее мнению, при масштабировании методики Innostage на все кибербитвы, основные необъективные оценки может рождать контекст и задачи синих команд.
"При подготовке заданий для CyberCamp, мы можем оценить, например, максимальное и минимальное количество баллов за задание или его сложность. Для единой оценки эта процедура должно выполняться на всех "кибербитв" единым жюри. Также среди специалистов, связанных с их проведением, должны быть достигнуты определенные договоренности. Кроме того, необходимо создать коллегию, участники которой будут представлять различные подходы к киберучениям", — отметила Екатерина Рудая.
Для улучшения оценок работы защитников, по мнению Алексея Пятигорского, необходимо, чтобы в их основе были конкретные цифры, а не, к примеру, заявления о возможностях успешных атак. Кроме того, методики всех кибербитв должны проходить через публичное согласование. Говоря о необходимости публиковать рейтинги в открытом доступе, он отметил, что синие команды, как правило, являются корпоративными, поэтому данный вопрос должны решать их владельцы. К усилению конкуренции между защитниками, по его словам, афиширование рейтингов не приведет.
"Слишком много аргументов, за "проплаченный" рейтинг и так далее. Без раскрытия "состава" команды это уже тоже неинтересно. Ну победил футбольный клуб "Нижезарощенский", клуб "Веселый металлург", и что? Может, там в состав на одну игру, ладно, месяц приехали чемпионы мира", — отметил Алексей Пятигорский.
Но Екатерина Рудая с ним не согласна. По ее мнению, размещение рейтингов синих хакеров может стимулировать конкуренцию между командами и способствовать развитию их навыков.
"При наличии точки опоры в виде рейтинга защитники будут стремиться к наиболее полному выявлению и развитию своих возможностей. Каждая новая победа станет известна сообществу, что является дополнительным бонусом", — заметила Екатерина Рудая.
В то же время она отметила, что синие команды — это группы с регулярно меняющимся составом, а в соревнованиях многое зависит не только от командной работы, но и от навыков отдельных участников, которые, как часто случается, переходят в другие команды.
"Большой вопрос, как делать такой рейтинг справедливым и учитывающим изменения в составах команд", — заметила Екатерина Рудая.
По словам Алексея Пятигорского, рейтинги синих хакеров не станут высоко котироваться работодателями, какая бы методика не лежала в их основе, ведь сейчас компании придают значение разве что опыту участия в CTF.
"В составе какой команды, в каких CTF — это важная информация. Чтобы "рейтинги" стали учитываться, нужно много времени, денег вложить и опыта", — заключил Алексей Пятигорский.
Екатерина Рудая считает, что, если структура рейтингов будет развиваться, наличие значимого места в них, скорее всего, будет равносильно сертификату. Валерий Степанов также уверен, что улучшенные рейтинги защитников станут котироваться среди работодателей.
"Однако следует учитывать, что большая часть команд, участвующих в кибербитвах, являются сборными. Они могут представлять несколько компаний. Поэтому важно учитывать не только высокие технические компетенции, но и адаптацию к ИБ-специалистам организации и ее внутренней инфраструктуре — набору средств по эффективному противодействию угрозам", — отметил Валерий Степанов.
