ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

OpenAI усиливает защиту ChatGPT и добавляет два новых инструмента безопасности — Lockdown Mode и метки Elevated Risk. Они призваны снизить риски инъекции промпта и других сложных атак, особенно когда ИИ взаимодействует с внешними сервисами и приложениями.

Lockdown Mode — это опциональный режим для организаций с повышенными требованиями к безопасности.

Он жёстко ограничивает, как ChatGPT может работать с внешними системами, чтобы минимизировать вероятность утечки данных. Например, при включённом режиме браузинг ограничивается кешированным контентом, а «живые» сетевые запросы не покидают инфраструктуру OpenAI.

Также отключаются отдельные инструменты и возможности, которые теоретически могут быть использованы злоумышленниками через вредоносные инструкции в диалоге.

 

Включить Lockdown Mode могут администраторы через настройки Workspace, создав отдельную роль с дополнительными ограничениями. Сейчас функция доступна в корпоративных версиях — ChatGPT Enterprise, Edu, for Healthcare и for Teachers. В будущем её планируют расширить и на обычных пользователей.

Вторая новинка — метки Elevated Risk. Это встроенные предупреждения, которые появляются при активации функций, потенциально связанных с дополнительными рисками. Они объясняют, что именно меняется при включении той или иной возможности и какие последствия это может повлечь. Например, если в Codex дать системе доступ к сети, метка прямо укажет на связанные с этим угрозы.

В OpenAI подчёркивают, что по мере усиления защитных механизмов такие предупреждения могут исчезать, а список функций с пометкой Elevated Risk будет меняться. По сути, компания делает ставку не только на технические ограничения, но и на прозрачность: чем глубже ИИ интегрируется в рабочие процессы и подключается ко внешним сервисам, тем важнее, чтобы пользователи понимали связанные с этим риски.

Подпишитесь на новости

Российское ПО должно дружить: РОСА и Ideco договорились о сотрудничестве

Собрать инфраструктуру из отечественных продуктов — полдела. Нужно ещё убедиться, что они нормально работают вместе. НТЦ ИТ РОСА и Ideco подписали соглашение о технологическом сотрудничестве, чтобы исследовать совместимость своих решений и сценарии их использования в единых комплексах.

РОСА разрабатывает российские ИТ-платформы, Ideco — средства информационной безопасности.

Компании планируют обмениваться технической информацией, консультировать друг друга и участвовать в совместных практических проектах. Главная задача — заранее разбираться с взаимодействием продуктов, чтобы технологические сюрпризы не доставались заказчику уже после внедрения.

В РОСА подчёркивают: бизнесу недостаточно набора решений, каждое из которых хорошо выполняет свою задачу. Операционные системы, инфраструктурные сервисы и средства защиты должны предсказуемо взаимодействовать между собой.

Ideco, в свою очередь, намерена прорабатывать встраивание средств сетевой безопасности в российскую инфраструктуру. Совместные сценарии рассчитаны на корпоративных и государственных заказчиков, а также промышленные предприятия.

Пока соглашение задаёт направление работы: конкретные проекты и условия их реализации партнёры будут определять отдельно.

RSS: Новости на портале Anti-Malware.ru