ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

OpenAI усиливает защиту ChatGPT и добавляет два новых инструмента безопасности — Lockdown Mode и метки Elevated Risk. Они призваны снизить риски инъекции промпта и других сложных атак, особенно когда ИИ взаимодействует с внешними сервисами и приложениями.

Lockdown Mode — это опциональный режим для организаций с повышенными требованиями к безопасности.

Он жёстко ограничивает, как ChatGPT может работать с внешними системами, чтобы минимизировать вероятность утечки данных. Например, при включённом режиме браузинг ограничивается кешированным контентом, а «живые» сетевые запросы не покидают инфраструктуру OpenAI.

Также отключаются отдельные инструменты и возможности, которые теоретически могут быть использованы злоумышленниками через вредоносные инструкции в диалоге.

 

Включить Lockdown Mode могут администраторы через настройки Workspace, создав отдельную роль с дополнительными ограничениями. Сейчас функция доступна в корпоративных версиях — ChatGPT Enterprise, Edu, for Healthcare и for Teachers. В будущем её планируют расширить и на обычных пользователей.

Вторая новинка — метки Elevated Risk. Это встроенные предупреждения, которые появляются при активации функций, потенциально связанных с дополнительными рисками. Они объясняют, что именно меняется при включении той или иной возможности и какие последствия это может повлечь. Например, если в Codex дать системе доступ к сети, метка прямо укажет на связанные с этим угрозы.

В OpenAI подчёркивают, что по мере усиления защитных механизмов такие предупреждения могут исчезать, а список функций с пометкой Elevated Risk будет меняться. По сути, компания делает ставку не только на технические ограничения, но и на прозрачность: чем глубже ИИ интегрируется в рабочие процессы и подключается ко внешним сервисам, тем важнее, чтобы пользователи понимали связанные с этим риски.

Один символ — 18 месяцев тюрьмы: как полиция перепутала ники

Житель Новой Шотландии Брэндон Клейм провёл 18 месяцев в тюрьме из-за ошибки в имени пользователя. Полиция искала владельца аккаунта fus__ro_dah с двумя подчёркиваниями, но запросила данные учётки fus_ro_dah — с одним. Разница в один символ привела следствие к совершенно другому человеку.

История началась в 2018 году в Висконсине. Полиция обнаружила 125 сообщений между 12-летней девочкой и взрослым мужчиной в мессенджере Kik.

Настоящий подозреваемый использовал ник, отсылающий к крику Fus Ro Dah из The Elder Scrolls V: Skyrim.

Однако в запросе к Kik одно подчёркивание потерялось. Сервис передал данные Клейма, а его IP-адрес вывел американских следователей на Канаду. Полиция Галифакса обыскала дом мужчины и изъяла телефоны и ноутбуки.

Ни одного доказательства там не нашлось. На устройствах не было ни переписки с девочкой, ни её изображений, ни других материалов по делу. Следствие не смогло даже подтвердить, что Клейм заходил в Kik в нужный период.

Но отсутствие улик никого особенно не смутило: мужчину обвинили в совращении ребёнка через интернет, передаче несовершеннолетней откровенных материалов и хранении детской порнографии.

В 2023 году Клейма признали виновным, а в 2024-м отправили в тюрьму на 18 месяцев. Он отбыл срок полностью.

Ошибка вскрылась только при подготовке апелляции. Прокуратура согласилась, что дело развалилось ещё на первом запросе к Kik. Правильные данные, как выяснилось, указывали на мужчину по имени Джей с IP-адресом в Калифорнии.

Апелляционный суд Новой Шотландии отменил приговор и снял с Клейма все обвинения. В решении сказано предельно ясно: он фактически невиновен и вообще не должен был оказаться на скамье подсудимых. Вот только 18 месяцев жизни кнопкой Backspace уже не вернёшь.

RSS: Новости на портале Anti-Malware.ru