В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

В GPT-5 нашли уязвимость: ответы могут формировать более слабые модели

Исследователи из Adversa AI сообщили о необычной уязвимости в GPT-5, которая получила название PROMISQROUTE. Суть проблемы в том, что ответы пользователю не всегда формируются самой GPT-5: внутри работает специальный «роутер», который решает, какой именно из моделей поручить обработку запроса. И это может быть как GPT-5 Pro, так и GPT-4o, GPT-3.5 или облегчённые версии GPT-5.

Такой подход экономит ресурсы: сложные задачи достаются самой «тяжёлой» модели, а простые — более лёгким и дешёвым. По оценкам Adversa, это может экономить OpenAI до 1,86 млрд долларов в год. Но у схемы есть обратная сторона — роутер можно обмануть.

Учёные выяснили, что с помощью определённых «триггерных» фраз пользователь может заставить систему перенаправить свой запрос на менее защищённую модель.

Это значит, что старые джейлбрейки, которые GPT-5 сама по себе блокировала, снова начинают работать — если запрос сначала попадает к «слабому звену».

Опасность здесь не только в том, что повышается риск галлюцинаций. Хакер может сознательно подменить модель и добиться выполнения инструкций, которые GPT-5 Pro обычно отвергла бы. Таким образом, уязвимость сводит защиту всей системы к уровню самой уязвимой модели внутри.

Решение вроде бы простое — отключить маршрутизацию и использовать всегда GPT-5 Pro. Но это замедлит работу и сделает её дороже. А бизнес-модель OpenAI построена на скорости и оптимизации расходов.

«GPT-5 нужно делать безопаснее — либо поставить защиту перед роутером, либо довести все модели до единого уровня безопасности. Лучше и то, и другое», — резюмировал глава Adversa AI Алекс Поляков.

Напомним, Недавно мы писали о способе обойти защиту GPT-5 с помощью скрытых историй.

ИИ-контент в России предложили маркировать добровольно

В России готовят правила для маркировки контента, созданного с помощью искусственного интеллекта. Но без обязательной плашки позора: пользователь сам будет решать, указывать ли, что картинка, видео или аудио сделаны нейросетью.

Такие положения вошли в законопроект о поддержке развития ИИ-технологий, который правительство внесло в Госдуму. Об этом РИА Новости сообщили в аппарате вице-премьера Дмитрия Григоренко.

Согласно документу, сервисы на базе больших ИИ-моделей должны будут дать пользователям техническую возможность маркировать созданные с их помощью аудио-, фото- и видеоматериалы.

Аналогичная обязанность появится и у владельцев соцсетей: они должны предусмотреть инструмент для размещения предупреждения об искусственном происхождении контента.

Но важный момент: маркировка будет добровольной. Законопроект не заставляет пользователей обязательно ставить предупреждение на каждый сгенерированный ролик, картинку или аудиофайл. Решение останется за автором.

В аппарате Григоренко объясняют это попыткой сформировать культуру честного взаимодействия с ИИ-контентом. Особенно такая маркировка может быть полезна в рекламе, образовании и массовых коммуникациях — там, где синтетический контент легко может ввести аудиторию в заблуждение.

При этом перед внесением в Госдуму законопроект заметно доработали с учетом замечаний бизнеса. Из него убрали обязательный контроль маркировки ИИ-контента для соцсетей и маркетплейсов. Причина практичная: надежных, массово доступных и недорогих инструментов для автоматического выявления генеративного контента пока просто нет.

Судя по всему, пока ставка делается не на жесткий контроль, а на добровольную прозрачность.

RSS: Новости на портале Anti-Malware.ru