ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

OpenAI усиливает защиту ChatGPT и добавляет два новых инструмента безопасности — Lockdown Mode и метки Elevated Risk. Они призваны снизить риски инъекции промпта и других сложных атак, особенно когда ИИ взаимодействует с внешними сервисами и приложениями.

Lockdown Mode — это опциональный режим для организаций с повышенными требованиями к безопасности.

Он жёстко ограничивает, как ChatGPT может работать с внешними системами, чтобы минимизировать вероятность утечки данных. Например, при включённом режиме браузинг ограничивается кешированным контентом, а «живые» сетевые запросы не покидают инфраструктуру OpenAI.

Также отключаются отдельные инструменты и возможности, которые теоретически могут быть использованы злоумышленниками через вредоносные инструкции в диалоге.

 

Включить Lockdown Mode могут администраторы через настройки Workspace, создав отдельную роль с дополнительными ограничениями. Сейчас функция доступна в корпоративных версиях — ChatGPT Enterprise, Edu, for Healthcare и for Teachers. В будущем её планируют расширить и на обычных пользователей.

Вторая новинка — метки Elevated Risk. Это встроенные предупреждения, которые появляются при активации функций, потенциально связанных с дополнительными рисками. Они объясняют, что именно меняется при включении той или иной возможности и какие последствия это может повлечь. Например, если в Codex дать системе доступ к сети, метка прямо укажет на связанные с этим угрозы.

В OpenAI подчёркивают, что по мере усиления защитных механизмов такие предупреждения могут исчезать, а список функций с пометкой Elevated Risk будет меняться. По сути, компания делает ставку не только на технические ограничения, но и на прозрачность: чем глубже ИИ интегрируется в рабочие процессы и подключается ко внешним сервисам, тем важнее, чтобы пользователи понимали связанные с этим риски.

Подпишитесь на новости

Соцсети и сайты предложили штрафовать за рекламу снятия порчи, услуг братвы

Зарабатывать на объявлениях «дам наличку» и «решу вопрос силой» площадкам предлагают запретить под угрозой штрафов и блокировки. Депутат Госдумы от ЛДПР Каплан Панеш хочет обязать сайты объявлений и соцсети проверять публикации до размещения. Перечень запрещённых категорий, по его предложению, должно утвердить правительство.

С такой инициативой парламентарий выступил в беседе с ТАСС. В вышеупомянутый перечень Панеш предлагает включить нелегальное кредитование, академический обман, криминальные услуги и обман потребителей.

В депутатский стоп-лист попали предложения займов от нелегальных кредиторов, написание дипломов и диссертаций за деньги, силовое взыскание долгов и выселение. Отдельное внимание досталось гадалкам и продавцам чудес с обещаниями вернуть мужа за три дня или обеспечить фантастическое похудение.

По мнению Панеша, площадки получают деньги за размещение таких предложений, но прикрываются статусом информационного посредника. Депутат считает, что эта позиция не должна освобождать их от контроля контента.

Для владельцев ресурсов он предлагает административные штрафы, сопоставимые с санкциями за нарушение закона о рекламе. При повторных нарушениях — блокировку сайта. Размеры штрафов в сообщении не названы.

Кроме того, площадки хотят обязать передавать надзорным органам по запросу данные авторов объявлений, чтобы ответственность не заканчивалась удалением публикации.

Для этого Панеш предлагает изменить закон об информации и КоАП. Пока речь идёт об инициативе депутата: о внесённом законопроекте или принятом решении в сообщении не говорится.

Если предложение получит ход, модераторам придётся внимательнее разбираться, где обычная услуга, где сомнительное обещание, а где уже предложение приехать с братвой.

RSS: Новости на портале Anti-Malware.ru