ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

ChatGPT и DeepSeek пропускают до 50% уязвимостей в софте на Java и Python

Группа компаний «Солар» проверила, насколько хорошо большие языковые модели справляются с двумя самыми трудоёмкими задачами в безопасной разработке — триажем уязвимостей и их исправлением в коде. Итог исследования получился довольно показательный: популярные общедоступные модели ускоряют работу, но пока слишком часто ошибаются, чтобы полностью на них полагаться.

Эксперты Solar appScreener протестировали шесть LLM на 20 крупных приложениях на Java и Python, каждое объёмом более 100 тысяч строк кода. Для анализа использовали как облачные модели — GigaChat 3 PRO, ChatGPT 5.2 и DeepSeek 3.2, так и локальные решения on-premise, включая ChatGPT OSS, Mistral и специализированные модели DerTriage и DerCodeFix.

Сначала с помощью SAST-анализа в проектах нашли около 12 тысяч уникальных срабатываний, из которых почти 20% пришлись на уязвимости высокой критичности. После этого все модели получили одинаковый промпт с описанием уязвимости, фрагментом кода, трассой достижимости и идентификаторами CWE.

На этапе триажа результаты оказались неровными. В Java-проектах среди облачных моделей лучше всех выступил ChatGPT с точностью 60,9%, а DeepSeek показал лишь 50%. В Python-коде картина поменялась: DeepSeek добрался до 80%+, а ChatGPT показал 52,7%. Но лучший результат среди локальных решений продемонстрировала DerTriage — более 80% точности и для Java, и для Python.

С кодфиксом ситуация похожая. Для Java ChatGPT показал 61,8% точности, DeepSeek — 45,5%. В Python их показатели составили 46,6% и 44,8% соответственно. Локальная модель DerCodeFix снова оказалась впереди: 78,2% точности на Java и 83,1% на Python.

Главный вывод исследования простой: LLM действительно экономят время, но на самых ответственных этапах безопасной разработки универсальные модели пока не дают нужной надёжности. Если команда безоговорочно доверится таким инструментам, есть риск пропустить критичные уязвимости.

В «Соларе» также напоминают ещё об одной проблеме: использование облачных моделей может стать каналом утечки исходного кода. Поэтому для задач безопасной разработки компания рекомендует смотреть в сторону локальных моделей on-premise, которые работают в закрытом контуре и всё равно требуют проверки со стороны AppSec-инженера.

В Яндексе ожидаются сокращения

Яндекс в рамках оптимизации расходов может сократить несколько сотен сотрудников. Основная часть возможных увольнений, по данным источников, ожидается в ключевом подразделении холдинга — «Поисковые сервисы и ИИ». На фоне экономической ситуации многие ИТ-компании в целом пересматривают расходы — не только на персонал, но также на маркетинг и HR.

О возможном закрытии отдельных направлений и сокращении штата в Яндексе сообщил «Коммерсантъ» со ссылкой на четыре источника на ИТ-рынке. По их данным, изменения могут затронуть подразделение «Поисковые сервисы и ИИ».

Предполагается, что сокращения затронут отдельные команды и продукты. В частности, речь идёт о сервисе маркетинговых исследований «Яндекс Взгляд», информация о возможном закрытии которого уже появлялась в СМИ. Общий объём сокращений, по данным издания, может составить несколько сотен человек. Согласно отчётности Яндекса, по итогам 2025 года численность персонала компании сократилась на 2%.

Как сообщил один из собеседников издания, в коммерческом департаменте «Поисковых сервисов и ИИ» был полностью уволен персонал одного из отделов. В отдельных подразделениях также ввели дополнительный контроль качества работы сотрудников.

По версии одного из источников «Коммерсанта», причиной сокращений могли стать слабые финансовые показатели подразделения «Поисковые сервисы и ИИ». Согласно отчётности компании, рост его выручки по итогам 2025 года составил лишь 10%, что заметно ниже показателей других направлений. Другой источник считает, что сокращение расходов связано с попыткой усилить бизнес-ориентированное направление ИИ.

В самом Яндексе сообщили изданию, что не планируют закрывать бизнес-направления и продолжают наём и развитие.

Между тем ИТ-компании в целом сокращают затраты. Так, директор по персоналу ГК «КОРУС Консалтинг» Дарья Цирулева оценила снижение расходов у крупных игроков на уровне 10–15%. По её словам, этому способствует ситуация в экономике, которая вынуждает бизнес инвестировать прежде всего в проекты с быстрой окупаемостью.

Кроме того, по её оценке, после перегрева рынка в 2022–2023 годах резко снизился спрос на специалистов, занимавшихся миграцией с зарубежного ПО. Снижение, по её словам, достигает 15% в год.

Один из собеседников «Коммерсанта» считает, что компании могут сократить до 20% избыточного персонала. Это может происходить в виде отказа от наёма новых сотрудников, а также через слияние или ликвидацию отдельных подразделений.

Партнёр практики «Операционная эффективность» компании Strategy Partners Денис Тверской среди возможных причин также назвал широкое внедрение сервисов с искусственным интеллектом и рост налоговой нагрузки. По его оценке, в условиях увеличения расходов на фонд оплаты труда содержание избыточного персонала становится для бизнеса слишком дорогим.

При этом возможности современных нейросетевых сервисов для создания и рефакторинга кода также заметно выросли. Новые модели уже заметно ушли от простого статистического анализа и всё ближе подходят к методам работы квалифицированных инженеров.

RSS: Новости на портале Anti-Malware.ru