NIST представил новые меры для защиты ИИ-систем

NIST представил новые меры для защиты ИИ-систем

NIST представил новые меры для защиты ИИ-систем

Национальный институт стандартов и технологий США (NIST) представил инициативу по усилению кибербезопасности систем искусственного интеллекта. Ведомство выпустило концептуальный документ и план действий по разработке специальных Control Overlays для стандарта NIST SP 800-53, которые будут учитывать риски именно в сфере ИИ.

Почему это важно: существующие подходы к киберзащите часто не охватывают угрозы, характерные для ИИ — такие как инъекция промпта, отравление моделей, утечки данных через интерфейсы и манипуляции решениями алгоритмов. Новые контрольные наборы должны закрыть эти пробелы.

Что входит в инициативу:

  • отдельные меры безопасности для генеративных ИИ, предиктивных систем и мультиагентных архитектур;
  • рекомендации для разработчиков — чтобы безопасность учитывалась на всех этапах жизненного цикла ИИ, а не «прикручивалась» постфактум;
  • расширение существующего стандарта SP 800-53 и дополнение к уже принятой AI Risk Management Framework (AI RMF 1.0).

Чтобы собрать обратную связь и сделать процесс максимально открытым, NIST запустил отдельный Slack-канал «#NIST-Overlays-Securing-AI», где к обсуждению приглашают исследователей, разработчиков, администраторов и специалистов по управлению рисками. Там будут публиковаться обновления, проводиться дискуссии и приниматься предложения по финальной версии.

Инициатива NIST может стать новым ориентиром не только для США, но и для глобального рынка — именно такие стандартизированные меры помогут компаниям по всему миру подходить к безопасности ИИ более системно.

Напомним, на днях NIST выпустил рекомендации по выявлению поддельных фото в документах. Документ под названием FATE MORPH 4B (PDF) описывает, как работают видоизменённые изображения, и объясняет, какие шаги должны предпринимать организации — от паспортных столов до пограничных служб.

Подпишитесь на новости

ИИ-агенты смогут искать уязвимости через плагины PT Application Inspector

Positive Technologies выпустила версию 3.0.0 бесплатных плагинов PT Application Inspector с поддержкой ИИ-агентов. Через встроенный MCP-сервер агенты могут запускать поиск уязвимостей в проекте или отдельных изменениях, анализировать результаты и помогать разработчикам исправлять код.

Интеграция по протоколу Model Context Protocol позволяет подключать инструменты с поддержкой MCP, включая OpenCode, Claude Code и Codex.

Агентам доступны сведения об обнаруженных уязвимостях и условиях их эксплуатации. Сами плагины используют статический анализ и показывают потенциальные проблемы безопасности непосредственно в среде разработки.

Для проверки кода после действий агента добавлена функция AI Hooks. Она автоматически проверяет внесённые изменения и сообщает разработчику о возможных уязвимостях. Полное повторное сканирование не требуется, если проект уже прошёл первоначальную проверку.

Функция How to Fix, формирующая с помощью ИИ рекомендации по устранению уязвимостей, стала доступна в Visual Studio Code. Ранее её можно было использовать в JetBrains IDE. Предложенные изменения разработчик может сразу внести в код.

Для How to Fix поддерживаются модели с совместимым API, в том числе развёрнутые на серверах заказчика. Такой вариант позволяет получать рекомендации без передачи исходного кода внешним ИИ-сервисам.

По словам директора по продуктам AppSec и WAF Positive Technologies Антона Жаболенко, компания стремится встроить поиск и исправление уязвимостей в процесс генерации кода, чтобы проверка не оставалась отдельной задачей после завершения разработки.

RSS: Новости на портале Anti-Malware.ru