ИИ меняет не только программные продукты, но и сам процесс разработки. Разработчики используют AI-ассистентов в IDE, передают моделям фрагменты кода, конфигурации и техническую документацию, а затем включают сгенерированный код в реальные приложения. Скорость разработки растёт, и AppSec с DevSecOps не всегда успевают за этим темпом.
Одновременно компании создают собственные AI-функции: используют сторонние модели, собирают датасеты, строят RAG, дообучают модели, подключают инструменты и выпускают агентные системы. Здесь безопасность уже зависит не только от кода. Нужно контролировать данные, веса, системные промпты, embeddings, внешние модели и сам ML-пайплайн.
В эфире AM Live разберём, как безопасно использовать ИИ в разработке и как защищать собственные AI-системы на всём жизненном цикле — от выбора модели и данных до релиза и эксплуатации. Обсудим AI supply chain, доверие к моделям и датасетам, AIBOM, Model Registry, security testing, AI Red Teaming и проверки, которые должны останавливать небезопасный релиз до выхода в production.
- ИИ ускоряет разработку, но успевает ли ИБ
- Что меняется в безопасной разработке, когда AI-ассистент уже не только пишет код, но и читает репозиторий, меняет файлы, подключает зависимости и запускает команды?
- Что сегодня опаснее: уязвимый код, который сгенерировал ИИ, или данные, которые разработчик передаёт AI-ассистенту?
- Где должен стоять первый контроль AI-assisted development: в IDE, на LLM Gateway, на code review или в CI/CD?
- Можно ли разрешать разработчикам внешние AI-ассистенты без централизованного контроля моделей, запросов и передаваемых данных?
- Нужно ли проверять AI-сгенерированный код строже обычного — или требования должны быть одинаковыми независимо от того, кто его написал?
- Что считать исходными артефактами AI-системы: только код или ещё датасеты, веса, системные промпты и RAG?
- Может ли команда в любой момент воспроизвести production-модель и показать, из какой базовой модели, данных, библиотек и настроек она собрана?
- Чем подключение модели, LoRA-адаптера или датасета из публичного репозитория отличается от установки неизвестной библиотеки из npm или PyPI?
- Достаточно ли проверить целостность файла модели — или отдельно нужно проверять и её поведение?
- Где сегодня самая опасная слепая зона AI supply chain: в данных, сторонних моделях, библиотеках, инструментах обучения или инфраструктуре сборки?
- Какие проверки должны остановить небезопасный релиз
- Можно ли пропускать обычный software-релиз и AI-релиз через один DevSecOps-конвейер — или для моделей, датасетов и AI-артефактов неизбежно появляется отдельная ветка проверок и approval?
- Если компания может внедрить только одну специализированную проверку AI-разработки, с чего стоит начать?
- Должен ли AIBOM стать обязательным артефактом релиза AI-системы?
- Что нужно автоматически перепроверять после изменения модели, датасета, системного промпта или RAG?
- Что должен уметь Model Registry, чтобы через него можно было безопасно выпускать модель в production?
- Что обязательно должно входить в минимальный security acceptance test AI-системы перед релизом?
- Что нельзя надёжно проверить автоматическими AI Security-тестами и всё ещё нужно отдавать на ручной AI Red Teaming?
- Какой популярный AI Security-тест чаще всего создаёт ложное ощущение защищённости, если использовать его как основной критерий допуска в production?
- Можно ли для AI Security задать жёсткий критерий pass/fail — или релиз всё равно остаётся решением о допустимом остаточном риске?
- Какие изменения должны автоматически запускать повторную security-проверку?
- Как откатить модель, промпт или датасет, если опасное изменение поведения обнаружилось уже после релиза?
- Итоги и прогнозы
- Какой AI-specific security gate к 2028–2029 году станет такой же обязательной частью разработки, как сегодня SAST, SCA или secret scanning?
- Какое решение в безопасной AI-разработке, принятое компаниями сегодня, с наибольшей вероятностью окажется ошибкой к 2029 году?
- Если компания начинает активно использовать AI в разработке и выпускать собственные AI-функции, какие три security-практики ей нужно внедрить в первую очередь?
Приглашенные эксперты:
|
|
Юрий Шабалин Директор продуктов в области безопасности ИИ, AppSec Solutions |
 |
Артур Хашаев Директор по разработке, Группа компаний SolidLab |
Модераторы:
|
|
Андрей Жуков Ведущий консультант, Faust |
