Власти США построят ИИ-песочницу для оттачивания навыков киберобороны

Власти США построят ИИ-песочницу для оттачивания навыков киберобороны

Власти США построят ИИ-песочницу для оттачивания навыков киберобороны

Американское Агентство по кибербезопасности и защите инфраструктуры (CISA) и директорат науки и технологий в составе Министерства внутренней безопасности США запустили проект по созданию новой среды аналитики, способной ускорить принятие решений по защите инфраструктуры в условиях быстро меняющегося ландшафта киберугроз.

Итоговая платформа CAP-M (Advanced Analytics Platform for Machine Learning, ранее CyLab) должна обеспечить тренировочную площадку для госструктур и частных организаций, где можно будет обмениваться опытом отражения кибератак и опробовать новейшие методы и инструменты анализа данных, в том числе полагающиеся на ИИ и машинное обучение.

Согласно утвержденному плану (PDF), работа над проектом включает создание прототипа многооблачной приватной среды для коллективной работы, исследование передовых технологий анализа данных, собранных из различных источников, а также разработку и автоматизацию рабочего цикла анализатора, использующего алгоритмы машинного обучения.

«Полномасштабная CAP-M будет включать многооблачную среду и множество структур данных — логическую базу данных, облегчающую доступ к наборам данных CISA, и приближенную к рабочим условиям среду для тестирования реальных решений», — сказано в анонсе правительства США.

Информация, собранная в ходе экспериментов, будет расшарена в госсекторе, академических кругах и среди представителей частного бизнеса. Сроки реализации проекта пока не назначены, и отсутствие конкретики, а также всеобъемлющие цели вызвали неоднозначную реакцию в ИБ-сообществе. 

Опрошенные The Register специалисты отметили, что в лабораторных условиях редко воспроизводятся сложность и фоновый шум реальной рабочей среды, поэтому CAP-M может оказаться хорошим решением этой проблемы. Вместе с тем использование ИИ и машинного обучения потребует солидного массива данных для тренировки системы; не исключено, что с этой целью придется создать автомат для проведения атак, особую форму алертов и новые способы распознавания ложных сигналов.

Многим импонирует идея объединить разрозненные ИБ-исследования и разработки в одном месте и сделать их общим достоянием, однако экспертов тревожит вопрос безопасности подобной платформы. Спонсируемые государством хакеры смогут изучить сильные и слабые стороны CAP-M и создать эксплойты или навести белый шум, способный ввести в заблуждение ИИ-анализаторы.

ФСТЭК России определилась со списком угроз для ИИ-систем

В банке данных угроз (БДУ), созданном ФСТЭК России, появился раздел о проблемах, специфичных для ИИ. Риски в отношении ИБ, связанные с качеством софта, ML-моделей и наборов обучающих данных, здесь не рассматриваются.

Угрозы нарушения конфиденциальности, целостности или доступности информации, обрабатываемой с помощью ИИ, разделены на две группы — реализуемые на этапе разработки / обучения и в ходе эксплуатации таких систем.

В инфраструктуре разработчика ИИ-систем оценки на предмет безопасности информации требуют следующие объекты:

 

Объекты, подлежащие проверке на безопасность в инфраструктуре оператора ИИ-системы:

 

Дополнительно и разработчикам, и операторам следует учитывать возможность утечки конфиденциальной информации, а также кражи, отказа либо нарушения функционирования ML-моделей.

Среди векторов возможных атак упомянуты эксплойт уязвимостей в шаблонах для ИИ, модификация промптов и конфигурации агентов, исчерпание лимита на обращения к ИИ-системе с целью вызвать отказ в обслуживании (DoS).

В комментарии для «Ведомостей» первый замдиректора ФСТЭК Виталий Лютиков пояснил, что составленный ими перечень угроз для ИИ ляжет в основу разрабатываемого стандарта по безопасной разработке ИИ-систем, который планировалась вынести на обсуждение до конца этого года.

Представленная в новом разделе БДУ детализация также поможет полагающимся на ИИ госструктурам и субъектам КИИ данных скорректировать процессы моделирования угроз к моменту вступления в силу приказа ФТЭК об усилении защиты данных в ГИС (№117, заработает с марта 2026 года).

Ужесточение требований регулятора в отношении безопасности вызвано ростом числа атак, в том числе на ИИ. В этих условиях важно учитывать не только возможности ИИ-технологий, но и сопряженные с ними риски.

RSS: Новости на портале Anti-Malware.ru