ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

Группа компаний «Солар» проверила, насколько хорошо большие языковые модели справляются с двумя самыми трудоёмкими задачами в безопасной разработке — триажем уязвимостей и их исправлением в коде. Итог исследования получился довольно показательный: популярные общедоступные модели ускоряют работу, но пока слишком часто ошибаются, чтобы полностью на них полагаться.

Эксперты Solar appScreener протестировали шесть LLM на 20 крупных приложениях на Java и Python, каждое объёмом более 100 тысяч строк кода. Для анализа использовали как облачные модели — GigaChat 3 PRO, ChatGPT 5.2 и DeepSeek 3.2, так и локальные решения on-premise, включая ChatGPT OSS, Mistral и специализированные модели DerTriage и DerCodeFix.

Сначала с помощью SAST-анализа в проектах нашли около 12 тысяч уникальных срабатываний, из которых почти 20% пришлись на уязвимости высокой критичности. После этого все модели получили одинаковый промпт с описанием уязвимости, фрагментом кода, трассой достижимости и идентификаторами CWE.

На этапе триажа результаты оказались неровными. В Java-проектах среди облачных моделей лучше всех выступил ChatGPT с точностью 60,9%, а DeepSeek показал лишь 50%. В Python-коде картина поменялась: DeepSeek добрался до 80%+, а ChatGPT показал 52,7%. Но лучший результат среди локальных решений продемонстрировала DerTriage — более 80% точности и для Java, и для Python.

С кодфиксом ситуация похожая. Для Java ChatGPT показал 61,8% точности, DeepSeek — 45,5%. В Python их показатели составили 46,6% и 44,8% соответственно. Локальная модель DerCodeFix снова оказалась впереди: 78,2% точности на Java и 83,1% на Python.

Главный вывод исследования простой: LLM действительно экономят время, но на самых ответственных этапах безопасной разработки универсальные модели пока не дают нужной надёжности. Если команда безоговорочно доверится таким инструментам, есть риск пропустить критичные уязвимости.

В «Соларе» также напоминают ещё об одной проблеме: использование облачных моделей может стать каналом утечки исходного кода. Поэтому для задач безопасной разработки компания рекомендует смотреть в сторону локальных моделей on-premise, которые работают в закрытом контуре и всё равно требуют проверки со стороны AppSec-инженера.

В дарквебе формируется экономика вокруг продажи устаревших данных из утечек

В теневом интернете сформировалась и продолжает развиваться отдельная экономика, связанная с продажей данных из утечек прошлых лет. Такие массивы по-прежнему приносят прибыль, а анализ подобных угроз для компаний, допустивших компрометацию данных ранее, становится значительно сложнее. К таким выводам пришли исследователи Positive Technologies.

Как выяснилось, злоумышленники успешно продают базы данных, украденные месяцы и даже годы назад.

Монетизации таких массивов, как отмечают исследователи, способствуют громкие заголовки и то, что покупатели далеко не всегда проверяют, действительно ли предлагаемые данные уникальны и недоступны в открытом доступе.

Известны случаи, когда продавцам удавалось сбывать даже те данные, которые уже были опубликованы. Не исключено, что в таких ситуациях покупатели рассчитывают получить более полную версию массива по сравнению с той, что ранее появилась в открытом доступе.

«На рынке всегда найдутся те, кто готов продавать публичные данные под видом эксклюзивных, и те, кто готов их покупать, не проверяя источники», — говорится в обзоре.

В качестве примера в исследовании приведён запрос на базу данных МФО «Займер», датированный 2026 годом. При этом сама компрометация компании произошла ещё в 2024 году. Тогда сообщалось, что в распоряжении злоумышленников могли оказаться данные 16 млн человек.

При этом, как подчёркивают в Positive Technologies, многие сведения из старых утечек по-прежнему сохраняют актуальность. Это касается в том числе паролей и другой чувствительной информации.

На этом рынке возникают и конфликты между самими участниками. Так, в отчёте приводится пример, когда один из пользователей форума опубликовал более сотни сообщений о якобы «новых» утечках. После того как другой продавец указал на несостыковки, первый в ответ выложил в открытый доступ его личную информацию и также обвинил его в продаже уже публичных данных.

RSS: Новости на портале Anti-Malware.ru