ФСТЭК России определилась со списком угроз для ИИ-систем

В банке данных угроз (БДУ), созданном ФСТЭК России, появился раздел о проблемах, специфичных для ИИ. Риски в отношении ИБ, связанные с качеством софта, ML-моделей и наборов обучающих данных, здесь не рассматриваются.

Угрозы нарушения конфиденциальности, целостности или доступности информации, обрабатываемой с помощью ИИ, разделены на две группы — реализуемые на этапе разработки / обучения и в ходе эксплуатации таких систем.

В инфраструктуре разработчика ИИ-систем оценки на предмет безопасности информации требуют следующие объекты:

Объекты, подлежащие проверке на безопасность в инфраструктуре оператора ИИ-системы:

Дополнительно и разработчикам, и операторам следует учитывать возможность утечки конфиденциальной информации, а также кражи, отказа либо нарушения функционирования ML-моделей.

Среди векторов возможных атак упомянуты эксплойт уязвимостей в шаблонах для ИИ, модификация промптов и конфигурации агентов, исчерпание лимита на обращения к ИИ-системе с целью вызвать отказ в обслуживании (DoS).

В комментарии для «Ведомостей» первый замдиректора ФСТЭК Виталий Лютиков пояснил, что составленный ими перечень угроз для ИИ ляжет в основу разрабатываемого стандарта по безопасной разработке ИИ-систем, который планировалась вынести на обсуждение до конца этого года.

Представленная в новом разделе БДУ детализация также поможет полагающимся на ИИ госструктурам и субъектам КИИ данных скорректировать процессы моделирования угроз к моменту вступления в силу приказа ФТЭК об усилении защиты данных в ГИС (№117, заработает с марта 2026 года).

Ужесточение требований регулятора в отношении безопасности вызвано ростом числа атак, в том числе на ИИ. В этих условиях важно учитывать не только возможности ИИ-технологий, но и сопряженные с ними риски.