ИИ пишет коды, как талантливый джуниор, и это подрывает безопасность софта

Как выяснили израильские специалисты, сгенерированные ИИ коды по плотности уязвимостей сравнимы с рукописными творениями, однако содержат структурные изъяны, способные повысить риски для введенных в эксплуатацию систем.

В рамках исследования в OX Security изучили содержимое более 300 репозиториев софта, в том числе 50 проектов, созданных с помощью GitHub Copilot, Cursor или Claude.

Многие сгенерированные ИИ коды выглядели чистыми и функциональными: казалось, умный помощник повел себя как одаренный начинающий программист, к тому же обладающий феноменальным быстродействием.

К сожалению, его участие свело на нет аудит кода, отладку и командный надзор, с которыми современные безопасники и так плохо справляются из-за возросшей нагрузки. Такие корпоративные службы, по данным экспертов, в среднем одновременно обрабатывают по полмиллиона алертов, оценивая степень важности и принимая дополнительные меры защиты.

Применение ИИ ускорило темпы создания софта, однако такие разработчики зачастую развертывают свои программы, не имея представления о защите хранимых данных и доступа, в том числе через интернет. Справедливости ради стоит отметить, что в подобную ловушку может попасть и профессиональный кодер.

«Функциональные приложения теперь можно выкатывать быстрее, но их не успевают тщательно проверять, — комментирует Эяль Пац (Eyal Paz), вице-президент OX Security по исследовательской работе. — Уязвимые системы вводятся в эксплуатацию с беспрецедентной скоростью, однако надлежащий аудит кода невозможно масштабировать до такой степени, чтобы он соответствовал новым темпам».

Суммарно эксперты выявили десять потенциально опасных недостатков, которые часто встречаются в творениях ИИ-помощников программиста:

• множественные, излишние комментарии в коде, затрудняющие проверку (в 90-100% случаев);
• фиксация на общепринятых правилах программирования, препятствующая созданию более эффективных и новаторских решений (80–90%);
• создание одноразовых кодов, без возможности перепрофилирования под иные задачи (80–90%);
• исключение рефакторинга (80–90%);
• повторяющиеся баги, которые потом приходится многократно фиксить, из-за невозможности многократного использования кода (70-80%);
• отсутствие осведомленности о специфике среды развертывания, приводящее к отказу кода, исправно функционирующего на стадии разработки (60-70%);
• возврат к монолитным, сильно связанным архитектурам вместо уже привычных, удобных в сопровождении микросервисов (40-50%);
• фейковое покрытие тестами всех интересующих значений — вместо оценки реальной логики ИИ выдает бессмысленные метрики, создающие ложное чувство уверенности в результатах (40-50%);
• создание кодов с нуля вместо добавления обкатанных библиотек и SDK, что повышает риски привнесения ошибок (40-50%);
• добавление логики для порожденных галлюцинациями сценариев, повышающее расход ресурсов и снижающее производительность (20-30%).

Поскольку традиционные методы обеспечения безопасности кодов не работают при использовании ИИ, авторы исследования (доступ к полнотекстовому отчету требует регистрации) рекомендуют в таких случаях принять следующие меры:

• отказаться от аудита кодов и вместо этого привнести аспект безопасности в процесс разработки (подход Secure by Design);
• перераспределить роли и зоны ответственности — ИИ работает над реализацией, профессионалы концентрируют внимание на архитектуре, контролируют соблюдение требований безопасности, принимают решения по вопросам, требующим опыта и знания контекста;
• заставить ИИ блюсти интересы безопасности — вставлять соответствующие инструкции в промпты, вводить архитектурные ограничения, интегрировать автоматически выполняемые правила в рабочие процессы, чтобы не пришлось устранять огрехи пост фактум;
• применять ИИ-средства обеспечения безопасности, сравнимые по быстродействию с такими же помощниками по разработке.

По прогнозу «Монк Дидижтал Лаб», расширение использования генеративного ИИ в российских разработках к концу текущего года приведет к увеличению количества сбоев ИТ-инфраструктуры на 15-20% по сравнению с уровнем 2023-го.