GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

Проведенное в Иллинойсском университете (UIUC) исследование показало, что GPT-4 в комбинации со средствами автоматизации способен эксплуатировать уязвимости одного дня (раскрытые, но без патча), читая их описания. Успех при этом может достигать 87%.

В комментарии для The Register один из соавторов исследования отметил, что подобный ИИ-помощник по пентесту обойдется в $8,8 за эксплойт — почти в три раза дешевле, чем стоят полчаса работы специалиста.

Рабочий агент на основе GPT-4 был создан (PDF) с использованием фреймворка LangChain (с модулем автоматизации ReAct). Код состоит из 91 строки и 1056 токенов для подсказок-стимулов (компания OpenAI попросила их не публиковать, и они предоставляются по запросу).

 

Тестирование проводилось на 15 простых уязвимостях сайтов, контейнеров, Python-пакетов; более половины из них оценены как критические или очень опасные. В двух случаях GPT-4 потерпел неудачу: с CVE-2024-25640 (XSS в платформе для совместной работы Iris) и с CVE-2023-51653 (RCE в системе мониторинга Hertzbeat). Интерфейс Iris оказался слишком сложным для навигации, а разбор дыры в Hertzbeat был выполнен на китайском языке (испытуемый агент понимал только английский).

Примечательно, что, изучая описания уязвимостей, ИИ-инструмент ходил по ссылкам за дополнительной информацией. Данных об 11 целях в ходе обучения ему не предоставили, и по ним эффективность оказалась несколько ниже — 82%. А блокировка доступа к информационным бюллетеням сократила успех до 7%.

Для сравнения университетские исследователи протестировали GPT-3.5, большие языковые модели (БЯМ, LLM) с открытым исходным кодом, в том числе популярную Llama, а также сканеры уязвимостей ZAP и Metasploit. Все они показали нулевой результат. Испытания Anthropic Claude 3 и Google Gemini 1.5 Pro, основных конкурентов GPT-4 на рынке коммерческих LLM-решений, пришлось отложить за отсутствием доступа.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

34% тестировщиков применяют ИИ для генерации кода, 28% — для тест-кейсов

2ГИС решила разобраться, как себя чувствует русскоязычное QA-сообщество: чем пользуются тестировщики, как устроены процессы и как в работу проникает искусственный интеллект. В исследовании поучаствовали 570 QA-специалистов, почти половина из них работают в крупных компаниях.

57% опрошенных сказали, что подключаются к разработке фич ещё на этапе обсуждения требований — то есть задолго до появления кода.

Лишь 20% приходят в проект только после завершения разработки. А вариант «подключаюсь, когда в продакшене что-то сломалось» — уже почти экзотика.

89% команд используют автотесты — от юнитов до UI. Но вот инструменты вокруг них, вроде поддержки, аналитики и стабильности, применяют далеко не все. Например, код-ревью автотестов делают только 39% опрошенных, а 28% команд вообще не отслеживают никаких метрик и работают «вслепую».

ИИ используют не все, и в основном — для рутинных задач

Хотя ИИ уже прочно вошёл в мир тестирования, чаще всего его применяют для типовых задач:

  • написание тестового кода (34%),
  • генерация тест-кейсов (28%),
  • и тестовых данных (26%).

 

Более продвинутые сценарии вроде анализа тестов, автоматического поиска багов и визуального тестирования пока используются редко. Например, только 5% автоматизируют дефект-дискавери, и лишь 4% пробуют AI для визуальных проверок. А 22% QA-специалистов вообще не используют ИИ в своей работе.

Главные проблемы в тестировании

На первом месте — сжатые сроки. Об этом сказали 71% участников опроса. На втором — слабое вовлечение QA в процессы (40%) и нехватка квалифицированных специалистов (37%).

Как измеряют качество

  • Главная метрика — количество найденных багов (58%).
  • Покрытие автотестами учитывают 43%, покрытие кода — только 23%.
  • Стабильность тестов (например, чтобы они не «флапали») отслеживают всего 15% команд.

Что будет с профессией дальше? Мнения разделились:

  • 37% считают, что всё уйдёт в тотальную автоматизацию;
  • 35% уверены, что ничего особо не поменяется;
  • почти треть верит, что QA станет глубже интегрироваться в специфические направления вроде ИБ и производительности;
  • 27% видят будущее за DevOps и SRE — то есть тесной работой на всех этапах: от разработки до эксплуатации.
AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru