В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

Исследователи из Adversa AI сообщили о необычной уязвимости в GPT-5, которая получила название PROMISQROUTE. Суть проблемы в том, что ответы пользователю не всегда формируются самой GPT-5: внутри работает специальный «роутер», который решает, какой именно из моделей поручить обработку запроса. И это может быть как GPT-5 Pro, так и GPT-4o, GPT-3.5 или облегчённые версии GPT-5.

Такой подход экономит ресурсы: сложные задачи достаются самой «тяжёлой» модели, а простые — более лёгким и дешёвым. По оценкам Adversa, это может экономить OpenAI до 1,86 млрд долларов в год. Но у схемы есть обратная сторона — роутер можно обмануть.

Учёные выяснили, что с помощью определённых «триггерных» фраз пользователь может заставить систему перенаправить свой запрос на менее защищённую модель.

Это значит, что старые джейлбрейки, которые GPT-5 сама по себе блокировала, снова начинают работать — если запрос сначала попадает к «слабому звену».

Опасность здесь не только в том, что повышается риск галлюцинаций. Хакер может сознательно подменить модель и добиться выполнения инструкций, которые GPT-5 Pro обычно отвергла бы. Таким образом, уязвимость сводит защиту всей системы к уровню самой уязвимой модели внутри.

Решение вроде бы простое — отключить маршрутизацию и использовать всегда GPT-5 Pro. Но это замедлит работу и сделает её дороже. А бизнес-модель OpenAI построена на скорости и оптимизации расходов.

«GPT-5 нужно делать безопаснее — либо поставить защиту перед роутером, либо довести все модели до единого уровня безопасности. Лучше и то, и другое», — резюмировал глава Adversa AI Алекс Поляков.

Напомним, Недавно мы писали о способе обойти защиту GPT-5 с помощью скрытых историй.

Бывшему сотруднику Google грозит 15 лет за кражу секретов ИИ-разработок

Большое жюри суда Северной Каролины утвердило обвинительное заключение по делу 38-летнего Линь-Вэй Дина (Linwei Ding), открытому в связи с кражей у Google более 2000 документов, связанных с разработками в сфере ИИ.

По версии следствия, Дин, проработавший в Google программистом с 2019 года до конца 2023-го, решил создать свой стартап в КНР и даже встречался с потенциальными инвесторами, попросив сослуживца прикрыть свое отсутствие в офисе.

Чтобы не начинать с чистого листа, предприимчивый инженер стал выкачивать данные из сети работодателя — о суперкомпьютерном ЦОД, специально построенном для ИИ, о софте для его управления, ИИ-моделях, приложениях, кастомных чипах.

Исходники он скачивал в Apple Notes на рабочем MacBook, а затем конвертировал их в PDF и под своим Google-аккаунтом выгружал в облако, чтобы замести следы. За две недели до увольнения Дин скачал все украденные секреты на свой персональный компьютер.

Когда пропажу обнаружили, техногигант обратился в суд. Арест подозреваемого в связи с выдвинутыми обвинениями состоялся в марте 2024 года.

Позднее выяснилось, что тот также подал заявку на участие в программе правительства КНР, призванной обеспечить приток в страну специалистов по исследованиям и разработке. Этот факт позволял трактовать кражу секретов Google как промышленный шпионаж в пользу иностранного государства.

В США Дину инкриминируют семь эпизодов хищения коммерческой тайны и семь эпизодов экономического шпионажа. По первой статье ему грозит до 10 лет лишения свободы, по второй — до 15 лет.

RSS: Новости на портале Anti-Malware.ru