Специалисты по кибербезопасности из компании Swordfish Security объявили, что разработанная ими методология по оценке зрелости компаний, применяющих искусственный интеллект, будет доступна ИБ-командам бесплатно. Идея в том, чтобы помочь сформировать зарождающийся рынок ИИ-безопасности и дать организациям понятный инструмент для самопроверки.
Методология и карта угроз создавались именно для российского рынка: учитывались требования регуляторов и особенности отечественных ИИ-систем.
Во фреймворк под названием SAIMM включили направления анализа ИИ-систем, оценку рисков, а также набор мер по их снижению. Фактически это рабочий чек-лист, который может помочь компаниям понять текущий уровень зрелости и построить собственную дорожную карту развития безопасного ИИ.
По словам специалистов, на рынке ежедневно появляются новые ИИ-агенты, а бизнес активно внедряет инструменты на базе языковых моделей. При этом масштаб угроз растёт, а атаковать ИИ-системы зачастую проще, чем традиционное ПО из-за их специфики.
Разработчики собрали около 80 уязвимостей, характерных именно для ИИ-систем, и сопоставили их с международными классификациями — OWASP, NIST, ENISA, MITRE ATLAS и другими. В список вошли, например, компрометация модели, обход ограничений, утечка чувствительных данных в ответах модели, конфликт инструкций и другие риски. Для каждой угрозы указаны меры защиты и необходимые контроли.
Фреймворк не привязан к определённой отрасли: им могут пользоваться финтех-компании, онлайн-ритейл, госсектор и другие организации, работающие с ИИ. Разработчики также участвовали в проектах на уровне регуляторов, что позволило учесть положения национальных инициатив в сфере ИИ и критической инфраструктуры.
Совместное исследование Ассоциации Финтех и экспертов в области ИИ-безопасности показало, что четверть крупнейших финансовых компаний уже пережили инциденты, связанные с использованием искусственного интеллекта. Это указывает на то, что ИИ активно интегрируется в рабочие процессы, но инструменты его защиты всё ещё находятся в стадии становления.
Новая методология должна помочь компаниям уйти от спонтанного подхода к внедрению ИИ и выстроить системную работу с рисками.
