Использование генеративного ИИ ухудшает качество кода

Использование генеративного ИИ ухудшает качество кода

Использование генеративного ИИ ухудшает качество кода

Использование генеративного искусственного интеллекта (ИИ) в разработке программного обеспечения может негативно сказываться на качестве кода. Это связано с так называемыми «галлюцинациями» больших языковых моделей, риском утечек кода, а также с тем, что ИИ нередко воспроизводит уже существующие ошибки и уязвимости.

Влиянию генеративного ИИ на процессы разработки было посвящено выступление основателя компании CodeScoring Алексея Смирнова на конференции «День безопасной разработки», организованной Ассоциацией разработчиков программных продуктов (АРПП) «Отечественный софт».

Как отметил Алексей Смирнов, галлюцинации ИИ в контексте программирования чаще всего проявляются в рекомендациях использовать несуществующие библиотеки — таких случаев может быть до 20%. Причём ещё год назад эта проблема практически не наблюдалась.

По его мнению, этим недостатком могут воспользоваться злоумышленники, подсовывая разработчикам заведомо уязвимые или вредоносные компоненты. Особенно опасно то, что в 58% случаев галлюцинации ИИ повторяются — а значит, подобрать нужное название несуществующей библиотеки становится проще.

Смирнов также сообщил, что с появлением ИИ-ассистентов количество утечек кода увеличилось на 40%. Утечки данных, использованных для обучения нейросетей, в целом являются типичной проблемой. Например, в модели угроз, разработанной в Сбере, такая угроза считается одной из ключевых.

Кроме того, по данным CodeScoring, в каждом третьем случае ИИ-ассистенты воспроизводят уязвимости в коде. Таким образом, надежды на то, что генеративные инструменты смогут автоматически находить и устранять уязвимости, не оправдались. Более того, как подчеркнул Алексей Смирнов, накопленный опыт показывает, что применение генеративного ИИ затрудняет работу статических анализаторов кода.

Android-приложения с ИИ массово «светят» ключи и данные пользователей

Исследователи выяснили: разработчики Android-приложений с ИИ по-прежнему массово хранят «секреты» прямо в коде, и этим активно пользуются злоумышленники. В рамках крупного анализа специалисты изучили 1,8 млн приложений из Google Play и обнаружили, что большинство ИИ-приложений в среднем «светят» конфиденциальными данными.

Картина получилась тревожной. 72% Android-приложений с ИИ содержат хотя бы один жёстко прописанный секрет — от идентификаторов облачных проектов до API-ключей.

Причём более 68% таких секретов связаны с Google Cloud: это ID проектов, адреса сервисов и ключи доступа. Всё это расширяет поверхность атаки и упрощает жизнь тем, кто ищет, к чему бы «подцепиться».

Проблема не теоретическая. По данным Cybernews, сотни ИИ-приложений уже были скомпрометированы автоматизированными атаками. Исследователи нашли 285 баз Firebase без какой-либо аутентификации, которые были открыты всем желающим.

В сумме через них утекло около 1,1 ГБ пользовательских данных. В ряде случаев в базах уже явно «похозяйничали» — например, там встречались тестовые таблицы с названиями вроде «poc» (от «proof of concept») и фейковые администраторские аккаунты.

Ещё масштабнее ситуация с облачными хранилищами. Из-за неправильных настроек Google Cloud Storage оказались открыты более 200 млн файлов общим объёмом почти 730 ТБ. В среднем на одно уязвимое хранилище приходилось 1,5 млн файлов и несколько терабайт данных.

 

При этом утекали не только «безобидные» идентификаторы. Среди найденных ключей были доступы к сервисам аналитики, коммуникационным платформам и даже платёжной инфраструктуре. В отдельных случаях речь шла о боевых ключах Stripe, которые теоретически позволяют управлять платежами — списывать деньги, оформлять возвраты или перенаправлять средства.

Интересно, что с API крупных LLM-провайдеров ситуация выглядит спокойнее. Ключи OpenAI, Gemini или Claude встречались редко и в основном относились к низкому уровню риска. Даже если такой ключ утечёт, он, как правило, не даёт доступа к истории запросов или диалогам пользователей.

Отдельный вывод исследования — проблема не только в утечках, но и в плохой «гигиене» разработки. Тысячи приложений содержат ссылки на облачные ресурсы, которые уже давно удалены или не используются.

RSS: Новости на портале Anti-Malware.ru