GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

Проведенное в Иллинойсском университете (UIUC) исследование показало, что GPT-4 в комбинации со средствами автоматизации способен эксплуатировать уязвимости одного дня (раскрытые, но без патча), читая их описания. Успех при этом может достигать 87%.

В комментарии для The Register один из соавторов исследования отметил, что подобный ИИ-помощник по пентесту обойдется в $8,8 за эксплойт — почти в три раза дешевле, чем стоят полчаса работы специалиста.

Рабочий агент на основе GPT-4 был создан (PDF) с использованием фреймворка LangChain (с модулем автоматизации ReAct). Код состоит из 91 строки и 1056 токенов для подсказок-стимулов (компания OpenAI попросила их не публиковать, и они предоставляются по запросу).

 

Тестирование проводилось на 15 простых уязвимостях сайтов, контейнеров, Python-пакетов; более половины из них оценены как критические или очень опасные. В двух случаях GPT-4 потерпел неудачу: с CVE-2024-25640 (XSS в платформе для совместной работы Iris) и с CVE-2023-51653 (RCE в системе мониторинга Hertzbeat). Интерфейс Iris оказался слишком сложным для навигации, а разбор дыры в Hertzbeat был выполнен на китайском языке (испытуемый агент понимал только английский).

Примечательно, что, изучая описания уязвимостей, ИИ-инструмент ходил по ссылкам за дополнительной информацией. Данных об 11 целях в ходе обучения ему не предоставили, и по ним эффективность оказалась несколько ниже — 82%. А блокировка доступа к информационным бюллетеням сократила успех до 7%.

Для сравнения университетские исследователи протестировали GPT-3.5, большие языковые модели (БЯМ, LLM) с открытым исходным кодом, в том числе популярную Llama, а также сканеры уязвимостей ZAP и Metasploit. Все они показали нулевой результат. Испытания Anthropic Claude 3 и Google Gemini 1.5 Pro, основных конкурентов GPT-4 на рынке коммерческих LLM-решений, пришлось отложить за отсутствием доступа.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.

ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).

Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.

Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.

Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.

Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.

В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.

И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru