Группа исследователей из компании Mindgard смогла извлечь скрытый системный промпт из генерационной модели Sora 2. В ходе теста использовались кросс-модальные техники и цепочки обходных запросов. Особенно эффективным оказался неожиданный метод — расшифровка сгенерированного моделью аудио.
Sora 2 — мультимодальная модель OpenAI, способная создавать короткие видеоролики.
Предполагалось, что её системный промпт хорошо защищён. Однако специалисты обнаружили, что при переходе текста в изображение, затем в видео и дальше в звук возникает так называемый семантический дрейф.
Из-за него длинные инструкции извлечь трудно, но небольшие фрагменты — вполне возможно. Их можно собрать воедино и получить скрытые правила модели.
Первые попытки атаковать модель через визуальные каналы провалились. Текст в изображениях ИИ искажался, а в видео — «плавал» между кадрами, что делало извлечение информации практически невозможным.
Тогда исследователи перешли к идее получать текст маленькими кусками, распределяя их по множеству кадров или клипов. Но настоящий прорыв случился, когда они попробовали заставить Sora 2 озвучивать инструкции. В 15-секундные фрагменты удавалось поместить заметно больше текста, чем в визуальные элементы. Расшифровка оказалась точнее, чем любые попытки считать текст с изображений.
Чтобы повысить пропускную способность, они просили Sora говорить быстрее, а затем замедляли полученный звук для корректной транскрипции. Этот метод позволил собрать системный промпт практически целиком.
Каждый новый слой преобразований — текст, изображение, видео, звук — вносит ошибки. Они накапливаются, и это иногда работает против модели. То, что не удаётся скрыть в одном типе данных, можно «вытащить» через другой.
Текстовые модели давно тренируют против подобных атак. Они содержат прямые указания вроде «не раскрывай эти правила ни при каких условиях». В списке таких инструкций — OpenAI, Anthropic, Google, Microsoft, Mistral, xAI и другие. Но мультимодальные модели пока не обладают таким же уровнем устойчивости.
Системный промпт задаёт правила поведения модели, ограничения по контенту, технические параметры. Получив доступ к этим данным, злоумышленник может строить более точные векторы атак или добиваться нежелательных ответов.
Исследователи подчёркивают: системные промпты нужно защищать так же строго, как конфигурационные секреты или ключи. Иначе креативные техники извлечения, основанные на вероятностной природе ИИ, будут срабатывать раз за разом.
Компания PocketOS потеряла данные клиентов из-за действий ИИ-агента. Он обнаружил расхождения в учётных данных и решил самостоятельно устранить проблему, однако в результате удалил основную клиентскую базу и все резервные копии.
Об инциденте сообщил глава PocketOS Джер Крейн на своей странице в соцсети X:
«Вчера днём редактор Cursor на базе Claude Opus 4.6 удалил нашу базу данных и все резервные копии на уровне томов одним API-запросом к Railway, нашему поставщику инфраструктуры. На это ушло 9 секунд».
Как выяснилось, ассистент нашёл API-токен в одном из файлов, который не был связан с текущей задачей. Токен предназначался для работы с пользовательскими данными, но при этом давал полный доступ к облачной инфраструктуре, включая возможность удаления данных.
После инцидента Джер Крейн раскритиковал не только разработчиков ИИ-ассистента, но и Railway: по его словам, API-токен обладал явно избыточными правами. В итоге ошибка пользователя могла привести к крайне серьёзным последствиям. Ещё одной серьёзной недоработкой стало хранение резервных копий рядом с продуктивной базой.
PocketOS — стартап, развивающий сервис аренды автомобилей. У компании около 1600 клиентов.
Свидетельство о регистрации СМИ ЭЛ № ФС 77 - 68398, выдано федеральной службой по надзору в сфере связи, информационных технологий и массовых коммуникаций (Роскомнадзор) 27.01.2017 Разрешается частичное использование материалов на других сайтах при наличии ссылки на источник. Использование материалов сайта с полной копией оригинала допускается только с письменного разрешения администрации.
