GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

Проведенное в Иллинойсском университете (UIUC) исследование показало, что GPT-4 в комбинации со средствами автоматизации способен эксплуатировать уязвимости одного дня (раскрытые, но без патча), читая их описания. Успех при этом может достигать 87%.

В комментарии для The Register один из соавторов исследования отметил, что подобный ИИ-помощник по пентесту обойдется в $8,8 за эксплойт — почти в три раза дешевле, чем стоят полчаса работы специалиста.

Рабочий агент на основе GPT-4 был создан (PDF) с использованием фреймворка LangChain (с модулем автоматизации ReAct). Код состоит из 91 строки и 1056 токенов для подсказок-стимулов (компания OpenAI попросила их не публиковать, и они предоставляются по запросу).

Тестирование проводилось на 15 простых уязвимостях сайтов, контейнеров, Python-пакетов; более половины из них оценены как критические или очень опасные. В двух случаях GPT-4 потерпел неудачу: с CVE-2024-25640 (XSS в платформе для совместной работы Iris) и с CVE-2023-51653 (RCE в системе мониторинга Hertzbeat). Интерфейс Iris оказался слишком сложным для навигации, а разбор дыры в Hertzbeat был выполнен на китайском языке (испытуемый агент понимал только английский).

Примечательно, что, изучая описания уязвимостей, ИИ-инструмент ходил по ссылкам за дополнительной информацией. Данных об 11 целях в ходе обучения ему не предоставили, и по ним эффективность оказалась несколько ниже — 82%. А блокировка доступа к информационным бюллетеням сократила успех до 7%.

Для сравнения университетские исследователи протестировали GPT-3.5, большие языковые модели (БЯМ, LLM) с открытым исходным кодом, в том числе популярную Llama, а также сканеры уязвимостей ZAP и Metasploit. Все они показали нулевой результат. Испытания Anthropic Claude 3 и Google Gemini 1.5 Pro, основных конкурентов GPT-4 на рынке коммерческих LLM-решений, пришлось отложить за отсутствием доступа.