ИИ уже не просто отвечает на вопросы, корпоративные агенты получают доступ к инструментам и выполняют задачи без пошагового контроля человека. А значит, ошибка нейросети может превратиться в действие внутри рабочей системы. Swordfish Security обновила свой фреймворк оценки AI Security с учетом этих рисков.
Версия 2.0 методологии Swordfish: SAIMM представлена в центре экспертизы компании.
Документ предназначен для бесплатного использования специалистами по кибербезопасности и разработчиками. Он помогает оценить зрелость процессов защиты ИИ, выявить пробелы и определить очередность изменений.
Главное обновление — два дополнительных направления оценки: безопасность агентских систем и RAG-пайплайнов.
Первое касается поведения агентов, их действий и использования инструментов. Когда нейросети доверяют корпоративный процесс, одного контроля за текстом ответа уже мало: важно понимать, что она может сделать с выданными полномочиями.
Второе направление посвящено данным, которые ИИ использует для формирования ответов. RAG позволяет модели обращаться к внешним источникам — например, корпоративной базе знаний. Поэтому в оценку входят контроль данных, их связь с моделями, учет версий и происхождения компонентов.
По словам гендиректора Swordfish Security Александра Пинаева, обновленный фреймворк стал практичнее: компания может пройти по вопросам, зафиксировать текущий уровень зрелости и определить, какие следующие шаги дадут наибольший эффект.
Важная часть подхода — постоянный учет моделей и данных, фиксация инцидентов и наблюдение за нежелательным поведением. Генеративная система способна по-разному отвечать на один запрос, поэтому разовая проверка не закрывает вопрос безопасности.
