ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

OpenAI усиливает защиту ChatGPT и добавляет два новых инструмента безопасности — Lockdown Mode и метки Elevated Risk. Они призваны снизить риски инъекции промпта и других сложных атак, особенно когда ИИ взаимодействует с внешними сервисами и приложениями.

Lockdown Mode — это опциональный режим для организаций с повышенными требованиями к безопасности.

Он жёстко ограничивает, как ChatGPT может работать с внешними системами, чтобы минимизировать вероятность утечки данных. Например, при включённом режиме браузинг ограничивается кешированным контентом, а «живые» сетевые запросы не покидают инфраструктуру OpenAI.

Также отключаются отдельные инструменты и возможности, которые теоретически могут быть использованы злоумышленниками через вредоносные инструкции в диалоге.

 

Включить Lockdown Mode могут администраторы через настройки Workspace, создав отдельную роль с дополнительными ограничениями. Сейчас функция доступна в корпоративных версиях — ChatGPT Enterprise, Edu, for Healthcare и for Teachers. В будущем её планируют расширить и на обычных пользователей.

Вторая новинка — метки Elevated Risk. Это встроенные предупреждения, которые появляются при активации функций, потенциально связанных с дополнительными рисками. Они объясняют, что именно меняется при включении той или иной возможности и какие последствия это может повлечь. Например, если в Codex дать системе доступ к сети, метка прямо укажет на связанные с этим угрозы.

В OpenAI подчёркивают, что по мере усиления защитных механизмов такие предупреждения могут исчезать, а список функций с пометкой Elevated Risk будет меняться. По сути, компания делает ставку не только на технические ограничения, но и на прозрачность: чем глубже ИИ интегрируется в рабочие процессы и подключается ко внешним сервисам, тем важнее, чтобы пользователи понимали связанные с этим риски.

ИИ тайком зовут на свидания: личные разговоры уходят на расшифровку

ИИ-диктофоны тихо выползли из переговорок в обычную жизнь. Пользователи записывают с их помощью свидания, приёмы у врачей, сеансы психотерапии и ужины с друзьями. Собеседников при этом нередко забывают предупредить; в конце концов, зачем портить сюрприз?

Одним из символов новой моды стало приложение Granola. Оно записывает звук через микрофон устройства: никакой иконки, никаких уведомлений, остальные участники могут даже не подозревать, что их слова уже превращаются в расшифровку.

Сервис быстро набирает популярность: ранее в этом году Granola привлекла $125 млн при оценке в $1,5 млрд. Причём используют его уже не только для рабочих встреч. Основательница стартапа Yuzu Labs Эмми Чанг рассказала The Wall Street Journal, что записывает первые свидания, а затем отправляет расшифровки Claude — пусть нейросеть решит, была ли искра.

Другие пользователи сохраняют разговоры с врачами, терапевтами и друзьями. Только вот в ряде американских штатов для записи требуется согласие всех участников. Тайный цифровой стенографист там может обернуться не неловким объяснением, а уголовным делом.

Бизнесу тоже пора насторожиться. ИИ-ассистенты уже оставались на видеозвонках после ухода сотрудников и продолжали фиксировать неформальные разговоры и сплетни. Глава Human Resource Certification Institute Эми Дюфрейн считает такие инструменты серьёзным риском для организаций и советует вовсе от них отказаться.

Есть и менее очевидная проблема. Исследования когнитивной разгрузки связывают активное использование ИИ со снижением критического мышления. Когда машина слушает, запоминает и анализирует за человека, сам он постепенно отвыкает делать всё это самостоятельно.

RSS: Новости на портале Anti-Malware.ru