Искусственный интеллект меняет правила игры в безопасной разработке. Он помогает писать код быстрее, но одновременно увеличивает риск ошибок и ускоряет поиск уязвимостей злоумышленниками. Разбираемся, как использовать ИИ, чтобы повысить, а не снизить безопасность программ.
Введение
17 июня прошла очередная ежегодная практическая конференция «День безопасной разработки ПО (РБПО)», организатором которой является Ассоциация разработчиков программных продуктов (АРПП) «Отечественный софт». Она состоялась уже в шестой раз.
«За время проведения Дней РБПО вовлечённость ИТ-компаний увеличилась более чем в 10 раз. Сегодня для отрасли важно не только обсуждать требования и стандарты, но и обмениваться практическим опытом внедрения РБПО в реальные процессы. Мы видим, что вокруг этой темы формируется профессиональное сообщество, и задача Ассоциации — создавать условия для активного диалога между разработчиками, заказчиками, экспертами и регуляторами, чтобы лучшие практики безопасной разработки становились отраслевым стандартом», — подчеркнул исполнительный директор АРПП «Отечественный софт» Ренат Лашин, открывая мероприятие.
Для многих компаний, как отметил директор UserGate Дмитрий Курашев, безопасная разработка стала не формальным требованием, а принципом работы. Это стало залогом доверия покупателей и заказчиков, что особенно важно для продуктов в сфере информационной безопасности. Также он назвал внедрение принципов безопасной разработки фактором роста общего уровня культуры разработки в России.
Рисунок 1. Выступление Дмитрия Курашева на Дне РБПО
Наряду с такими традиционными темами, как безопасность компонентов с открытым кодом, защита цепочки поставок ПО, внедрение DevSecOps и развитие процессов безопасной разработки, на данной конференции сквозной темой стало использование ИИ. Интеграция ИИ в конвейер безопасной разработки, как это часто бывает сегодня, становится ответом на рост вызовов и угроз, связанных с применением нейросетевых инструментов как в разработке, так и злоумышленниками в ходе атак. Важно, что многие выступления носили сугубо практический характер.
ИИ как вызов
Как показало исследование ГК «Солар» и УЦСБ, инструменты с ИИ для написания и анализа программного кода используют 80 % опрошенных российских компаний. При этом 95 % респондентов считают, что такая практика создаёт риски, а 40 % оценивают их как критические. Треть опрошенных компаний признали, что никак не контролируют применение ИИ внутри организации.
В целом риски использования ИИ можно разделить на три группы:
- Технические.
- Правовые и регуляторные.
- Организационные.
Отдельной проблемой является использование ИИ злоумышленниками.
Правовые и регуляторные риски
Руководитель комитета по информационной безопасности АРПП «Отечественный софт», генеральный директор Axiom JDK и бессменный модератор конференции «День РБПО» Роман Карпов в эксклюзивном комментарии для «АМ Медиа» обратил внимание на регуляторные риски, связанные с использованием ИИ. Наиболее очевидный из них — риск утечки данных, в том числе подпадающих под защиту различных законов: персональных данных, врачебной, коммерческой, банковской, налоговой и государственной тайны.
При использовании публичных ИИ-моделей такой риск не является иллюзорным, особенно с учётом трансграничной передачи данных в недружественные страны. По статистике ГК «Солар», за 2025 год такие утечки из российских компаний выросли в 30 раз. Одним из возможных решений участники конференции называют развёртывание ИИ-моделей во внутреннем контуре компании.
Однако в этом случае возникает вопрос экономики. По оценкам участников круглого стола «ИИ не для разговоров, а задач», прошедшего в рамках технологического форума «Рег.облака», стоимость аппаратной платформы для локального развёртывания ИИ-модели составляет около 30 млн рублей. При этом её загрузка должна быть не ниже 80 %.
Участники также отметили, что локальные модели пока заметно уступают публичным по качеству и чаще допускают ошибки (галлюцинации).
По мере расширения практики генерации кода возникают и юридические риски, связанные с возможными нарушениями авторских прав. Уже есть прецеденты исков со стороны авторов произведений, использованных для обучения ИИ, в том числе в России. Нельзя исключать, что аналогичные претензии могут возникать и к компаниям, использующим сгенерированный код. При этом многое будет зависеть от формирующейся нормативной базы.
Как отметил Роман Карпов, для организаций всё более важными становятся не только характеристики модели, но и вопросы доверия, контроля данных, соответствия регуляторным требованиям и управляемости эксплуатации. В корпоративном и государственном сегментах выбор ИИ-инструментов всё чаще определяется не максимальными возможностями, а балансом между эффективностью, безопасностью, предсказуемостью эксплуатации и требованиями к технологической независимости.
Организационные риски
Применительно к внедрению ИИ организационные риски обычно связаны с дефицитом кадров, способных оценивать работу ИИ, неконтролируемым теневым использованием ИИ сотрудниками и снижением ответственности персонала за принимаемые решения. К ним также относится сопротивление внедрению ИИ-систем: сотрудники могут избегать использования инструментов, игнорировать их или применять некорректно.
Как отмечали участники «Дня РБПО», такие риски типичны для внедрения процедур безопасной разработки в целом, независимо от использования ИИ. Ведущий эксперт по ИБ «НТЦ Фобос-НТ» Евгений Рвянин назвал эту проблему типовой, отметив, что её причиной часто становится спешка — стремление как можно быстрее завершить проект «под сертификацию», даже при отсутствии объективной необходимости.
Руководитель отдела разработки пользовательского интерфейса компании «НЕКСТБИ» Григорий Голиков среди организационных рисков выделил появление кода, который внешне работает, но не адаптируется, не оптимизирован и небезопасен: непрозрачен, потенциально уязвим и не проходит проверку. Это следствие иллюзии, что носитель бизнес-логики может с помощью ИИ генерировать код без необходимой подготовки. В результате без инженерной дисциплины и контроля со стороны разработчиков безопасность, качество и жизнеспособность продукта оказываются под угрозой.
Как отметил Роман Карпов, последствия организационных ошибок при внедрении ИИ — прежде всего связанных с недостаточным пониманием результатов работы генеративных инструментов и слабым контролем — наиболее коварны и часто проявляются не сразу:
«Скорость создания кода растёт значительно быстрее, чем зрелость процессов его проверки, сопровождения и безопасной эксплуатации. Генеративные модели хорошо справляются с типовыми задачами и шаблонными конструкциями, ускоряя разработку, но при этом нередко генерируют код без полноценного понимания архитектурного контекста системы. В результате возрастает вероятность появления скрытых дефектов, логических ошибок, избыточного дублирования, некорректной обработки исключений и небезопасных практик работы с данными».
Технические риски вайбкодинга
О подобных проблемах эксперты предупреждали и ранее. Так, на одном из предыдущих «Дней РБПО» основатель компании CodeScoring Алексей Смирнов говорил о массовых проблемах с качеством кода, сгенерированного нейросетевыми инструментами. Среди них — воспроизведение прежних ошибок и уязвимостей, а также склонность ИИ к логическим ошибкам, нехарактерным для традиционной разработки. При использовании публичных сервисов возможна и утечка кода.
Отдельной проблемой остаются галлюцинации ИИ. Это явление известно давно, однако их доля даже в лучших моделях может превышать 8 %. Как отметил Алексей Смирнов, при генерации кода ИИ-модели нередко ссылаются на несуществующие библиотеки, из-за чего код не работает. При этом это далеко не самое серьёзное последствие. Подобные особенности злоумышленники уже используют в атаках на цепочки поставок.
Рисунок 2. Доля галлюцинаций при генерации кода основными ИИ-моделями
Серьёзной проблемой остаётся массовое использование генеративного ИИ студентами при выполнении учебных заданий. Как отметил ведущий разработчик «Базальт СПО» и преподаватель МГУ Георгий Курячий на круглом столе «Преподавание системного программирования в вузах страны. Проблемы и решения», такая практика мешает формированию важных для разработчика навыков. При этом последствия пробелов в образовании проявляются не сразу, а спустя годы, уже после окончания обучения, и могут быть трудно предсказуемыми.
Одной из ключевых проблем также становится снижение качества кода при использовании ИИ-инструментов. По итогам 2025 года компания AppSec Solutions в ежегодном исследовании зафиксировала рост числа уязвимостей в мобильных приложениях на 63 %. Уязвимости высокого и критического уровня были обнаружены в 84 % приложений, а в категории «Финансы» их количество выросло в 10 раз. В AppSec Solutions связывают этот рост с расширением практики генерации кода с помощью ИИ.
«Всё больше сторонних SDK и облачных интеграций, всё больше ИИ-сгенерированного кода, тиражирующего небезопасные паттерны хранения чувствительных данных», — прокомментировал результаты руководитель продукта AppSec.Sting компании AppSec Solutions Никита Пинаев.
Как отметили в пресс-службе ГК «Солар», комментируя результаты исследования AppSec Solutions, ситуацию усугубляет острая нехватка специалистов по безопасности приложений. На фоне экономических ограничений этот дефицит закрепляется: многие компании приостановили наём. Расширение практики вайбкодинга также во многом связано с нехваткой разработчиков.
Григорий Голиков подчеркнул, что использование генеративного ИИ при работе с кодом требует постоянного контроля со стороны специалистов. Такие инструменты эффективны для автоматизации типовых задач, прототипирования и быстрого создания заготовок кода, что даёт заметный выигрыш на ранних этапах.
Однако по мере развития проекта, когда он выходит за рамки прототипа, код, сгенерированный по описанию, становится сложным для поддержки и развития. Выигрыш в скорости быстро нивелируется ростом затрат на понимание и доработку. В результате, по оценке эксперта, создание полноценных проектов исключительно с помощью вайбкодинга практически невозможно.
Роман Карпов, в свою очередь, придерживается более взвешенной позиции: по его мнению, говорить о деградации качества кода исключительно из-за использования больших языковых моделей было бы упрощением.
ИИ как инструмент злоумышленников
Злоумышленники используют ИИ уже давно. Практически сразу после появления ChatGPT его начали применять для генерации фишинговых писем. В результате эффективность таких атак, по оценкам экспертов, выросла в десятки раз: конверсия оказалась сопоставима с целевыми атаками, подготовка которых требует значительно больше времени и ресурсов.
Фишинговые ИИ-боты, как отмечают в Sitronics Group, умеют анализировать профили в социальных сетях для персонализации сообщений и используют многоэтапные схемы обмана для повышения доверия: сначала атакуют по электронной почте, затем рассылают СМС. Они также могут имитировать телефонные звонки и вести диалог с жертвой. По данным внутренних исследований Sitronics Group, 68 % пользователей не распознают общение с ИИ-ботом, а более половины готовы передать ему конфиденциальные данные.
Что касается генерации вредоносного кода, здесь наблюдается та же проблема, что и с легитимным кодом, — его низкое качество. На рубеже 2025–2026 годов хактивистская группировка Forbidden Hyena использовала в атаках на российские компании скрипты, сгенерированные ИИ, для загрузки инструментов закрепления в инфраструктуре. При этом эксперты оценили такие инструменты как шаблонные и примитивные, а долю вредоносных программ, созданных с помощью ИИ, — как незначительную (менее 1 %).
При этом злоумышленники активно применяют ИИ для автоматизации атак. По оценке Sitronics Group, уже в ближайшее время можно ожидать появления атак с использованием адаптивных червей. Как отметил руководитель отдела информационной безопасности Sitronics Group Артём Герасимов, такие вредоносные программы способны самостоятельно распространяться по сети, находить уникальные уязвимости на каждом устройстве и менять стратегию поведения практически в реальном времени.
В целом, как подчеркнул основатель и генеральный директор ГК ИНСЕК Алексей Бегаев, злоумышленники часто быстрее осваивают новые ИИ-инструменты, чем бизнес. Использование автоматизации позволяет ускорять атаки и упрощает обход защитных механизмов.
В результате альянс «Пять глаз», объединяющий разведслужбы Австралии, Великобритании, Канады, Новой Зеландии и США, выступил с заявлением, в котором сроки появления ИИ-моделей, способных «сломить оборону правительств и предприятий», оцениваются в ближайшие месяцы. В документе правительствам и компаниям рекомендовано принимать срочные меры для снижения этих рисков.
Власти США уже ввели ограничения на использование продвинутых моделей Anthropic, в том числе для американских компаний, не говоря о пользователях за пределами страны. Основным мотивом стали вопросы безопасности и опасения, что такие инструменты могут быть использованы для проведения разрушительных кибератак.
Причиной появления ограничений стали расширенные возможности новых моделей Anthropic по поиску уязвимостей и созданию эксплойтов в сжатые сроки. Это снижает порог входа и позволяет злоумышленникам создавать киберинструменты с минимальными усилиями.
Кроме того, такие модели способны восстанавливать исходный код из бинарных файлов, что снижает необходимость в его прямом хищении. В качестве примера приводится восстановление исходного кода казуальной игры 1993 года «Поле чудес», на что потребовалось около двух часов.
Как отметил старший исследователь угроз Kaspersky GReAT Леонид Безвершенко, выступая на конференции, инструменты для работы с ИИ-моделями сами становятся целью атак. По его словам, атаки на ИИ-агентов могут давать злоумышленникам более значительный эффект по сравнению с традиционными методами: компрометация одного агента способна привести к компрометации других, используемых в организации. Дополнительный риск создаёт большое количество зависимостей, характерное для таких систем.
В качестве примера он привёл компрометацию популярной библиотеки LiteLLM, используемой для взаимодействия с публичными ИИ-моделями. Через неё злоумышленники из группы TeamPCP распространяли бэкдор, получая доступ к облачным ресурсам компаний, криптокошелькам и другим системам. Для атаки применялась классическая техника компрометации цепочки поставок.
Также Алексей Смирнов ещё в 2025 году обращал внимание на использование галлюцинаций ИИ в атаках на цепочки поставок. Генеративные модели могут ссылаться на несуществующие библиотеки с типовыми названиями, характерными для конкретных моделей. Злоумышленники создают такие библиотеки и внедряют в них вредоносный код, рассчитывая на автоматическое подключение в процессе разработки.
ИИ как усилитель и ускоритель РБПО
ИИ, в том числе генеративный, — мощный инструмент автоматизации. Во многих случаях его применение становится единственным способом компенсировать риски, связанные со злонамеренным использованием нейросетевых технологий. Аналогичная ситуация наблюдается и в других сегментах ИБ, например при автоматизации реагирования на инциденты и угрозы.
ИИ может решать широкий спектр задач:
- Поиск уязвимостей.
- Анализ зависимостей.
- Приоритизация выявленных проблем.
- Анализ результатов статического и динамического анализа.
- Формирование документации.
Как подчеркнул технический директор «Аладдин Р.Д.» Антон Бауткин, ГОСТ Р 56939—2024 и документы регуляторов не ограничивают выбор инструментов для формирования артефактов. Это относится и к использованию ИИ.
При этом, как отметил Роман Карпов, сохраняется разрыв между доступными в России моделями и мировыми лидерами, особенно в задачах глубокого анализа безопасности, поиска сложных уязвимостей и работы с крупными кодовыми базами. По данным, которые привели в пресс-службе ГК «Солар», комментируя результаты исследования AppSec Solutions, при анализе исходного кода ИИ-модели могут пропускать до половины ошибок и уязвимостей.
Тем не менее, как отметил Антон Бауткин, делясь опытом интеграции ИИ в конвейер безопасной разработки, доступные в России модели уже подходят для ряда задач: подготовки и первичного анализа входных данных, а также оценки артефактов — в частности, проверки корректности срабатываний сканеров кода.
Рисунок 3. Точки встраивания ИИ в конвейер безопасной разработки
Как подчеркнул Алексей Бегаев, ручной контроль безопасности кода в современных условиях перестаёт работать. Команды разработки без средств автоматизации, включая ИИ, уже не справляются с объёмом задач по выявлению и устранению уязвимостей.
Антон Бауткин выделил четыре уровня делегирования задач ИИ: от базового уровня — чат-инструментов для выполнения разовых задач — до продвинутого уровня мультиагентных систем, объединяющих несколько ИИ-агентов под единым управлением.
Рисунок 4. Уровни делегирования задач для ИИ в процессе безопасной разработки
Что касается техник внедрения, то, по мнению Антона Бауткина, существует две стратегии, которые не противоречат друг другу. Первая — оптимизация существующих процессов, ориентированная на быстрый результат при минимальных изменениях. Ускорение отдельных функций может достигать трёх раз.
В новой версии Solar appScreener 3.16, где встроены ИИ-инструменты, заявлено ускорение до 10 раз. При этом точность превышает 90 % на этапе верификации (триажа) и достигает 85 % на этапе исправления уязвимостей (кодфикса).
Хорошие результаты, по оценке Антона Бауткина, даёт и использование больших языковых моделей для подготовки документации. Сроки её выпуска сокращаются примерно в три раза, даже с учётом времени на редактирование и устранение галлюцинаций ИИ.
Рисунок 5. Эффект от оптимизации некоторых процессов разработки
Вторая стратегия требует глубокой трансформации процессов разработки и контроля уязвимостей. В этом случае роль человека смещается к функции валидатора, а ИИ берёт на себя выполнение технических операций по обработке и преобразованию данных. Для этого требуется формализация требований и их упрощение.
Выводы
Использование ИИ уже стало серьёзным вызовом для индустрии разработки ПО. С одной стороны, практика вайбкодинга может снижать качество кода за счёт воспроизведения ошибок и уязвимостей. С другой — злоумышленники быстрее находят эксплойты, в том числе для ранее неизвестных уязвимостей и даже в системах с утраченной исходной кодовой базой.
Ответом на эти вызовы становится интеграция средств автоматизации, включая ИИ, в конвейеры безопасной разработки. Практика показывает, что такой подход позволяет ускорять отдельные процессы в 2–3 раза.
