GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

GPT-4 может автономно эксплойтить уязвимости 1-day с успехом до 87%

Проведенное в Иллинойсском университете (UIUC) исследование показало, что GPT-4 в комбинации со средствами автоматизации способен эксплуатировать уязвимости одного дня (раскрытые, но без патча), читая их описания. Успех при этом может достигать 87%.

В комментарии для The Register один из соавторов исследования отметил, что подобный ИИ-помощник по пентесту обойдется в $8,8 за эксплойт — почти в три раза дешевле, чем стоят полчаса работы специалиста.

Рабочий агент на основе GPT-4 был создан (PDF) с использованием фреймворка LangChain (с модулем автоматизации ReAct). Код состоит из 91 строки и 1056 токенов для подсказок-стимулов (компания OpenAI попросила их не публиковать, и они предоставляются по запросу).

 

Тестирование проводилось на 15 простых уязвимостях сайтов, контейнеров, Python-пакетов; более половины из них оценены как критические или очень опасные. В двух случаях GPT-4 потерпел неудачу: с CVE-2024-25640 (XSS в платформе для совместной работы Iris) и с CVE-2023-51653 (RCE в системе мониторинга Hertzbeat). Интерфейс Iris оказался слишком сложным для навигации, а разбор дыры в Hertzbeat был выполнен на китайском языке (испытуемый агент понимал только английский).

Примечательно, что, изучая описания уязвимостей, ИИ-инструмент ходил по ссылкам за дополнительной информацией. Данных об 11 целях в ходе обучения ему не предоставили, и по ним эффективность оказалась несколько ниже — 82%. А блокировка доступа к информационным бюллетеням сократила успех до 7%.

Для сравнения университетские исследователи протестировали GPT-3.5, большие языковые модели (БЯМ, LLM) с открытым исходным кодом, в том числе популярную Llama, а также сканеры уязвимостей ZAP и Metasploit. Все они показали нулевой результат. Испытания Anthropic Claude 3 и Google Gemini 1.5 Pro, основных конкурентов GPT-4 на рынке коммерческих LLM-решений, пришлось отложить за отсутствием доступа.

ChatGPT начнёт угадывать возраст пользователей и ограничивать контент

OpenAI начинает по-новому определять возраст пользователей ChatGPT, без прямого вопроса «сколько вам лет». Компания постепенно внедряет модель прогнозирования возраста, которая анализирует поведение в чате и на основе этого решает, считать пользователя взрослым или подростком.

Зачем всё это? Основная цель — усилить защиту несовершеннолетних. OpenAI не хочет, чтобы пользователи младше 18 лет без согласия родителей сталкивались с контентом для взрослых, потенциально опасными темами или материалами на грани закона.

Модель не запрашивает дату рождения напрямую. Вместо этого она смотрит на косвенные признаки: с каких тем начинается общение с ChatGPT, как пользователь формулирует запросы и даже в какое время суток он чаще всего заходит в сервис. На основе этого система делает предположение — перед ней взрослый или подросток — и автоматически применяет соответствующие ограничения.

При этом в OpenAI честно признают: модель может ошибаться. Иногда взрослого пользователя могут по ошибке «записать» в подростки, особенно если поведение в чате покажется системе типично тинейджерским. В таком случае доступ к части тем будет ограничен.

Если вам уже есть 18 лет, но ChatGPT решил иначе, возраст можно подтвердить вручную. Для этого предусмотрена процедура верификации. Пользователя могут попросить сделать живое селфи через камеру смартфона или компьютера либо загрузить фото удостоверения личности — например, паспорта или водительских прав.

Проверкой занимается партнёр OpenAI — компания Persona, которая сверяет дату рождения и соответствие фото. В OpenAI подчёркивают, что загруженные данные удаляются в течение семи дней после проверки.

После успешной верификации дополнительные «подростковые» ограничения снимаются, хотя на полное обновление настроек может уйти некоторое время.

Даже в режиме для несовершеннолетних ChatGPT остаётся доступным для учёбы, творчества и обычных вопросов. Но система будет жёстче фильтровать темы, связанные с насилием, жестокими сценами, опасными интернет-инициативами, а также контентом, который продвигает нездоровые диеты или бодишейминг.

Новая система определения возраста будет внедряться по всему миру и со временем автоматически заработает для всех аккаунтов ChatGPT.

Всё это, само собой, происходит на фоне множества исков к OpenAI, в которых родители подростков утверждают, что ChatGPT довёл их детей до самоубийства. Представители корпорации периодически оправдываются в публичном поле, заявляя, что суицидники нарушили правила использования ChatGPT.

RSS: Новости на портале Anti-Malware.ru