В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

Исследователи из Adversa AI сообщили о необычной уязвимости в GPT-5, которая получила название PROMISQROUTE. Суть проблемы в том, что ответы пользователю не всегда формируются самой GPT-5: внутри работает специальный «роутер», который решает, какой именно из моделей поручить обработку запроса. И это может быть как GPT-5 Pro, так и GPT-4o, GPT-3.5 или облегчённые версии GPT-5.

Такой подход экономит ресурсы: сложные задачи достаются самой «тяжёлой» модели, а простые — более лёгким и дешёвым. По оценкам Adversa, это может экономить OpenAI до 1,86 млрд долларов в год. Но у схемы есть обратная сторона — роутер можно обмануть.

Учёные выяснили, что с помощью определённых «триггерных» фраз пользователь может заставить систему перенаправить свой запрос на менее защищённую модель.

Это значит, что старые джейлбрейки, которые GPT-5 сама по себе блокировала, снова начинают работать — если запрос сначала попадает к «слабому звену».

Опасность здесь не только в том, что повышается риск галлюцинаций. Хакер может сознательно подменить модель и добиться выполнения инструкций, которые GPT-5 Pro обычно отвергла бы. Таким образом, уязвимость сводит защиту всей системы к уровню самой уязвимой модели внутри.

Решение вроде бы простое — отключить маршрутизацию и использовать всегда GPT-5 Pro. Но это замедлит работу и сделает её дороже. А бизнес-модель OpenAI построена на скорости и оптимизации расходов.

«GPT-5 нужно делать безопаснее — либо поставить защиту перед роутером, либо довести все модели до единого уровня безопасности. Лучше и то, и другое», — резюмировал глава Adversa AI Алекс Поляков.

Напомним, Недавно мы писали о способе обойти защиту GPT-5 с помощью скрытых историй.

Линус Торвальдс резко высказался против ИИ-слопа в ядре Linux

Пока мир захлёбывается от LLM-ботов и бесконечного ИИ-слопа, ядро Linux, похоже, остаётся последним бастионом здравого смысла. По крайней мере, если судить по свежей реакции Линуса Торвальдса на дискуссию вокруг использования ИИ в разработке ядра.

Создатель Linux довольно резко высказался по поводу идеи как-то отдельно регулировать или документировать вклад, сделанный с помощью LLM-помощников.

Поводом стало сообщение разработчика ядра Лоренцо Стоукса, связанного с Oracle, который усомнился в популярной формуле «LLM — это просто ещё один инструмент» и назвал такую позицию наивной.

Ответ Торвальдса был, мягко говоря, недипломатичным — в его стиле:

«Нет. Глупая тут как раз твоя позиция. Говорить об “ИИ-слопе” — это просто идиотизм. Люди, которые клепают плохие патчи с помощью ИИ, не будут добросовестно это документировать. Это настолько очевидно, что я вообще не понимаю, зачем это обсуждать».

Дальше — ещё жёстче. По мнению Торвальдса, документация ядра не должна превращаться в идеологическое поле боя между апологетами ИИ и сторонниками «конца света»:

«Я не хочу, чтобы документация по разработке ядра становилась заявлением об ИИ. У нас и так хватает людей по обе стороны — от “всё пропало” до “ИИ революционизирует разработку”».

Именно поэтому он настаивает на нейтральной формулировке «просто инструмент». Не потому, что он безоговорочно верит в LLM, а потому что документация — не место для деклараций.

При этом позиция Торвальдса остаётся, как ни странно, неоднозначной. Формально он не запрещает использование ИИ-помощников и, похоже, понимает, что запрет был бы бессмысленным. Если LLM-боты можно использовать тайком, их всё равно будут использовать. Просто не скажут об этом.

Контекст у спора вполне реальный. Команды разработчиков уже работают над чёткими рекомендациями по написанию патчей с помощью ИИ, а сами инструменты активно применяются на практике.

Сам Торвальдс раньше высказывался об ИИ куда мягче. В 2024 году он говорил, что 90% ИИ-маркетинга — это хайп, а позже неожиданно допустил вайб-кодинг, но с оговоркой: «если это не для чего-то важного». С этим, впрочем, далеко не все согласились — включая технических журналистов.

Кроме того, Линус в декабре неожиданно оправдал Windows BSOD.

RSS: Новости на портале Anti-Malware.ru