Власти США построят ИИ-песочницу для оттачивания навыков киберобороны

Власти США построят ИИ-песочницу для оттачивания навыков киберобороны

Власти США построят ИИ-песочницу для оттачивания навыков киберобороны

Американское Агентство по кибербезопасности и защите инфраструктуры (CISA) и директорат науки и технологий в составе Министерства внутренней безопасности США запустили проект по созданию новой среды аналитики, способной ускорить принятие решений по защите инфраструктуры в условиях быстро меняющегося ландшафта киберугроз.

Итоговая платформа CAP-M (Advanced Analytics Platform for Machine Learning, ранее CyLab) должна обеспечить тренировочную площадку для госструктур и частных организаций, где можно будет обмениваться опытом отражения кибератак и опробовать новейшие методы и инструменты анализа данных, в том числе полагающиеся на ИИ и машинное обучение.

Согласно утвержденному плану (PDF), работа над проектом включает создание прототипа многооблачной приватной среды для коллективной работы, исследование передовых технологий анализа данных, собранных из различных источников, а также разработку и автоматизацию рабочего цикла анализатора, использующего алгоритмы машинного обучения.

«Полномасштабная CAP-M будет включать многооблачную среду и множество структур данных — логическую базу данных, облегчающую доступ к наборам данных CISA, и приближенную к рабочим условиям среду для тестирования реальных решений», — сказано в анонсе правительства США.

Информация, собранная в ходе экспериментов, будет расшарена в госсекторе, академических кругах и среди представителей частного бизнеса. Сроки реализации проекта пока не назначены, и отсутствие конкретики, а также всеобъемлющие цели вызвали неоднозначную реакцию в ИБ-сообществе. 

Опрошенные The Register специалисты отметили, что в лабораторных условиях редко воспроизводятся сложность и фоновый шум реальной рабочей среды, поэтому CAP-M может оказаться хорошим решением этой проблемы. Вместе с тем использование ИИ и машинного обучения потребует солидного массива данных для тренировки системы; не исключено, что с этой целью придется создать автомат для проведения атак, особую форму алертов и новые способы распознавания ложных сигналов.

Многим импонирует идея объединить разрозненные ИБ-исследования и разработки в одном месте и сделать их общим достоянием, однако экспертов тревожит вопрос безопасности подобной платформы. Спонсируемые государством хакеры смогут изучить сильные и слабые стороны CAP-M и создать эксплойты или навести белый шум, способный ввести в заблуждение ИИ-анализаторы.

Подпишитесь на новости

В НГУ создали платформу для проверки качества данных, на которых обучают ИИ

В Новосибирском государственном университете разработали «Каппу» — платформу для управления данными, на которых обучают ИИ. Она должна помочь разобраться, кто подготовил датасет, что в нём меняли и откуда взялась ошибка. Потому что кормить модель мусором, а потом удивляться её ответам — довольно странно.

О разработке и возможности подключения других вузов сообщил сам НГУ. Университетам предлагают бесплатную облачную версию на серверах НГУ либо платную установку в собственной инфраструктуре.

«Каппа» поддерживает разметку и проверку данных, фиксирует версии наборов и авторство изменений. Исправление ошибки сохраняется в новой версии, чтобы при следующем обучении не наступать на те же грабли.

Платформа также позволяет проверять разные модели на подготовленных датасетах. При обучении фиксируются версия данных и параметры, после — результаты тестирования на эталонных наборах. Во время эксплуатации телеметрия помогает отслеживать ошибки и замечать отклонения.

Локальная установка рассчитана в том числе на случаи, когда конфиденциальные данные нельзя выносить за пределы организации.

В репозитории разработчиков среди задач проекта указаны контроль обучения, отслеживание авторства разметки и соблюдения стандартов. Здесь ставка на прослеживаемость: прежде чем требовать от ИИ безупречных ответов, полезно выяснить, чему именно его учили.

RSS: Новости на портале Anti-Malware.ru