Swordfish Security подготовила бесплатный фреймворк по оценке рисков ИИ

Специалисты по кибербезопасности из компании Swordfish Security объявили, что разработанная ими методология по оценке зрелости компаний, применяющих искусственный интеллект, будет доступна ИБ-командам бесплатно. Идея в том, чтобы помочь сформировать зарождающийся рынок ИИ-безопасности и дать организациям понятный инструмент для самопроверки.

Методология и карта угроз создавались именно для российского рынка: учитывались требования регуляторов и особенности отечественных ИИ-систем.

Во фреймворк под названием SAIMM включили направления анализа ИИ-систем, оценку рисков, а также набор мер по их снижению. Фактически это рабочий чек-лист, который может помочь компаниям понять текущий уровень зрелости и построить собственную дорожную карту развития безопасного ИИ.

По словам специалистов, на рынке ежедневно появляются новые ИИ-агенты, а бизнес активно внедряет инструменты на базе языковых моделей. При этом масштаб угроз растёт, а атаковать ИИ-системы зачастую проще, чем традиционное ПО из-за их специфики.

Разработчики собрали около 80 уязвимостей, характерных именно для ИИ-систем, и сопоставили их с международными классификациями — OWASP, NIST, ENISA, MITRE ATLAS и другими. В список вошли, например, компрометация модели, обход ограничений, утечка чувствительных данных в ответах модели, конфликт инструкций и другие риски. Для каждой угрозы указаны меры защиты и необходимые контроли.

Фреймворк не привязан к определённой отрасли: им могут пользоваться финтех-компании, онлайн-ритейл, госсектор и другие организации, работающие с ИИ. Разработчики также участвовали в проектах на уровне регуляторов, что позволило учесть положения национальных инициатив в сфере ИИ и критической инфраструктуры.

Совместное исследование Ассоциации Финтех и экспертов в области ИИ-безопасности показало, что четверть крупнейших финансовых компаний уже пережили инциденты, связанные с использованием искусственного интеллекта. Это указывает на то, что ИИ активно интегрируется в рабочие процессы, но инструменты его защиты всё ещё находятся в стадии становления.

Новая методология должна помочь компаниям уйти от спонтанного подхода к внедрению ИИ и выстроить системную работу с рисками.