ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

OpenAI усиливает защиту ChatGPT и добавляет два новых инструмента безопасности — Lockdown Mode и метки Elevated Risk. Они призваны снизить риски инъекции промпта и других сложных атак, особенно когда ИИ взаимодействует с внешними сервисами и приложениями.

Lockdown Mode — это опциональный режим для организаций с повышенными требованиями к безопасности.

Он жёстко ограничивает, как ChatGPT может работать с внешними системами, чтобы минимизировать вероятность утечки данных. Например, при включённом режиме браузинг ограничивается кешированным контентом, а «живые» сетевые запросы не покидают инфраструктуру OpenAI.

Также отключаются отдельные инструменты и возможности, которые теоретически могут быть использованы злоумышленниками через вредоносные инструкции в диалоге.

 

Включить Lockdown Mode могут администраторы через настройки Workspace, создав отдельную роль с дополнительными ограничениями. Сейчас функция доступна в корпоративных версиях — ChatGPT Enterprise, Edu, for Healthcare и for Teachers. В будущем её планируют расширить и на обычных пользователей.

Вторая новинка — метки Elevated Risk. Это встроенные предупреждения, которые появляются при активации функций, потенциально связанных с дополнительными рисками. Они объясняют, что именно меняется при включении той или иной возможности и какие последствия это может повлечь. Например, если в Codex дать системе доступ к сети, метка прямо укажет на связанные с этим угрозы.

В OpenAI подчёркивают, что по мере усиления защитных механизмов такие предупреждения могут исчезать, а список функций с пометкой Elevated Risk будет меняться. По сути, компания делает ставку не только на технические ограничения, но и на прозрачность: чем глубже ИИ интегрируется в рабочие процессы и подключается ко внешним сервисам, тем важнее, чтобы пользователи понимали связанные с этим риски.

Google научила смартфоны измерять пульс без часов и фитнес-браслетов

Google, видимо, решила, что фитнес-браслетам и умные часам пора на пенсию. Компания представила технологию, которая позволяет измерять пульс и частоту сердечных сокращений в состоянии покоя с помощью обычной фронтальной камеры смартфона.

Никаких датчиков на запястье, никаких ремешков и дополнительных устройств. Всё, что нужно, — собственное лицо.

Система получила название Passive Heart Rate Monitoring (PHRM). Работает она  любопытно: после разблокировки смартфона по лицу фронтальная камера записывает короткое восьмисекундное видео, а встроенная ИИ-модель анализирует едва заметные изменения цвета кожи, возникающие из-за кровотока.

Человеческий глаз таких изменений не видит, а вот алгоритмы машинного обучения — вполне.

 

По данным Google, точность системы оказалась неожиданно высокой. При оценке пульса в состоянии покоя результаты отличались от показателей фитнес-браслета Fitbit Charge 6 менее чем на пять ударов в минуту.

Для обучения и тестирования модели компания использовала более 350 тысяч видеозаписей почти 700 участников с разными оттенками кожи. Более того, исследователи проверяли технологию не только в лаборатории, но и в реальной жизни. Добровольцы больше недели ходили со своими смартфонами, одновременно используя Fitbit и медицинское оборудование для контроля сердечного ритма.

Результаты оказались убедительными, чтобы Google всерьёз заговорила о будущем такого подхода. Впрочем, до идеала ещё далеко. Исследователи признают, что системе пока сложнее стабильно получать данные у людей с тёмными оттенками кожи. Также на точность могут влиять разговоры, движения головы и другие обычные действия.

Есть и вопрос приватности. Всё-таки технология предполагает регулярный анализ изображения лица пользователя. В Google уверяют, что обработка может выполняться непосредственно на устройстве без передачи данных в облако.

RSS: Новости на портале Anti-Malware.ru