ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

Группа компаний «Солар» проверила, насколько хорошо большие языковые модели справляются с двумя самыми трудоёмкими задачами в безопасной разработке — триажем уязвимостей и их исправлением в коде. Итог исследования получился довольно показательный: популярные общедоступные модели ускоряют работу, но пока слишком часто ошибаются, чтобы полностью на них полагаться.

Эксперты Solar appScreener протестировали шесть LLM на 20 крупных приложениях на Java и Python, каждое объёмом более 100 тысяч строк кода. Для анализа использовали как облачные модели — GigaChat 3 PRO, ChatGPT 5.2 и DeepSeek 3.2, так и локальные решения on-premise, включая ChatGPT OSS, Mistral и специализированные модели DerTriage и DerCodeFix.

Сначала с помощью SAST-анализа в проектах нашли около 12 тысяч уникальных срабатываний, из которых почти 20% пришлись на уязвимости высокой критичности. После этого все модели получили одинаковый промпт с описанием уязвимости, фрагментом кода, трассой достижимости и идентификаторами CWE.

На этапе триажа результаты оказались неровными. В Java-проектах среди облачных моделей лучше всех выступил ChatGPT с точностью 60,9%, а DeepSeek показал лишь 50%. В Python-коде картина поменялась: DeepSeek добрался до 80%+, а ChatGPT показал 52,7%. Но лучший результат среди локальных решений продемонстрировала DerTriage — более 80% точности и для Java, и для Python.

С кодфиксом ситуация похожая. Для Java ChatGPT показал 61,8% точности, DeepSeek — 45,5%. В Python их показатели составили 46,6% и 44,8% соответственно. Локальная модель DerCodeFix снова оказалась впереди: 78,2% точности на Java и 83,1% на Python.

Главный вывод исследования простой: LLM действительно экономят время, но на самых ответственных этапах безопасной разработки универсальные модели пока не дают нужной надёжности. Если команда безоговорочно доверится таким инструментам, есть риск пропустить критичные уязвимости.

В «Соларе» также напоминают ещё об одной проблеме: использование облачных моделей может стать каналом утечки исходного кода. Поэтому для задач безопасной разработки компания рекомендует смотреть в сторону локальных моделей on-premise, которые работают в закрытом контуре и всё равно требуют проверки со стороны AppSec-инженера.

Подпишитесь на новости

Главной целью стратегии ИБ стало снижение рисков — 78% против 55% год назад

Компании всё чаще берутся за стратегию ИБ, но писать её мешает нехватка данных и поддержки руководства. Об этом говорят опросы зрителей эфира AM Live «Стратегия информационной безопасности: зачем нужна и как её защитить».

В ходе дискуссии эксперты разбирали, зачем бизнесу стратегия ИБ, как связать её с бизнес-целями, что такое риск-аппетит и недопустимые события, как отличить стратегию от списка закупок и как доказать её ценность руководству.

Ярослав Напалков (МТС Банк) поделился кейсом, как презентация стратегии топ-менеджеру вызвала агрессию, и посоветовал сначала доносить контекст. Николай Казанцев (Securitm) предложил новичкам «три чашки кофе» — пообщаться с CEO, ИТ и стейкхолдерами.

Эксперты также обсудили горизонт планирования (2-3 года с ежегодным пересмотром), роль резервного копирования и киберучений, кейсы с шифровальщиками, BYOD, DLP и построением SOC.

За год доля компаний, у которых стратегия в разработке, выросла с 9% до 28%. А тех, у кого её нет и не предвидится, стало меньше — 21% против 26%. При этом меньше компаний довели документ до рабочего состояния с метриками и кибериспытаниями: 16% против 20%.

Барьеры тоже сместились. Нехватка исходных данных выросла с 46% до 64%, отсутствие buy-in топ-менеджмента — с 25% до 43%. Кадровый дефицит остаётся главным ограничением, хотя и снизился до 59%. Николай Казанцев из Securitm объясняет это зрелостью рынка:

«По нашей статистике, лишь 15-20% служб ИБ имеют хоть как-то формализованный реестр рисков. Я даже не говорю про количественный, хотя бы качественную оценку».

Главной целью на 2027 год снижение рисков и финансового ущерба назвали 78% — рост на 23 п.п. На втором месте устойчивость и сокращение простоев критичных сервисов — 57%. Наталья Глинина из Megafon Pro Business считает это логичным:

«Нормальная цель, потому что она прямо влияет на бизнес. Финансовый ущерб считается недопустимым событием, потому что иначе ваш бизнес может перестать работать».

Соответствие регуляторам держится на уровне 59%, а оптимизация TCO и консолидация стека теряют популярность — 8% против 14%.

Оптимизм по поводу роста интереса к стратегии разделяют не все. Евгений Акимов из «Рубитеха» предположил:

«Просто те, кто были на эфире в 2025 году, разработали стратегию и на наш эфир уже не пришли. Просто новые люди, которые как-то голодны до стратегии».

А ведущий Виктор Бобыльков напомнил, что часть компаний сознательно живёт без документа:

«Одно дело, когда бюджета нет, тогда хотя бы есть исходные данные. Но мы просто не делаем стратегию, потому что смысл её делать, нам денег больше не дадут. Это стратегия стабильной оперейшн».

Участники эфира сошлись на том, что стратегия ИБ — это не список закупок, а инструмент связи с бизнес-целями, который нужно строить на риск-ориентированном подходе. Планировать стоит на 2-3 года с ежегодным пересмотром, фокусироваться на критичных процессах и восстановлении, а ответственность распределять между ИБ, ИТ и бизнесом.

RSS: Новости на портале Anti-Malware.ru