ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

ChatGPT получил режим защиты от атак через инъекцию промпта

OpenAI усиливает защиту ChatGPT и добавляет два новых инструмента безопасности — Lockdown Mode и метки Elevated Risk. Они призваны снизить риски инъекции промпта и других сложных атак, особенно когда ИИ взаимодействует с внешними сервисами и приложениями.

Lockdown Mode — это опциональный режим для организаций с повышенными требованиями к безопасности.

Он жёстко ограничивает, как ChatGPT может работать с внешними системами, чтобы минимизировать вероятность утечки данных. Например, при включённом режиме браузинг ограничивается кешированным контентом, а «живые» сетевые запросы не покидают инфраструктуру OpenAI.

Также отключаются отдельные инструменты и возможности, которые теоретически могут быть использованы злоумышленниками через вредоносные инструкции в диалоге.

 

Включить Lockdown Mode могут администраторы через настройки Workspace, создав отдельную роль с дополнительными ограничениями. Сейчас функция доступна в корпоративных версиях — ChatGPT Enterprise, Edu, for Healthcare и for Teachers. В будущем её планируют расширить и на обычных пользователей.

Вторая новинка — метки Elevated Risk. Это встроенные предупреждения, которые появляются при активации функций, потенциально связанных с дополнительными рисками. Они объясняют, что именно меняется при включении той или иной возможности и какие последствия это может повлечь. Например, если в Codex дать системе доступ к сети, метка прямо укажет на связанные с этим угрозы.

В OpenAI подчёркивают, что по мере усиления защитных механизмов такие предупреждения могут исчезать, а список функций с пометкой Elevated Risk будет меняться. По сути, компания делает ставку не только на технические ограничения, но и на прозрачность: чем глубже ИИ интегрируется в рабочие процессы и подключается ко внешним сервисам, тем важнее, чтобы пользователи понимали связанные с этим риски.

ФСТЭК обновила правила поиска уязвимостей и скрытых возможностей в ПО

ФСТЭК России утвердила новую методику выявления уязвимостей и недекларированных возможностей в программном обеспечении. Проще говоря, регулятор обновил правила, по которым будут искать дыры, ошибки и потенциально опасные функции в софте, проходящем сертификацию.

Новый документ предназначен прежде всего для испытательных лабораторий и разработчиков, которые участвуют в сертификации средств защиты информации, защищённого программного обеспечения и программно-аппаратных комплексов.

Методика будет применяться как при первичной сертификации продуктов, так и при внесении изменений в уже сертифицированные решения.

Особое внимание документ уделяет разработчикам средств защиты информации. Им рекомендуют использовать положения новой методики для выстраивания внутренних процессов безопасной разработки программного обеспечения в соответствии с требованиями ГОСТ Р 56939-2024.

Фактически речь идёт о том, чтобы искать потенциальные проблемы не только на финальном этапе испытаний, но и на протяжении всего жизненного цикла продукта.

При этом ФСТЭК официально отправила на пенсию предыдущую версию документа. Методика выявления уязвимостей и недекларированных возможностей, утверждённая ещё 25 декабря 2020 года, больше не применяется.

Для рынка информационной безопасности это не просто бюрократическое обновление. Методики ФСТЭК напрямую влияют на то, как проходят сертификацию российские средства защиты информации, какие проверки проводят лаборатории и какие требования предъявляются к разработчикам.

А учитывая, что количество уязвимостей в программном обеспечении продолжает расти, а требования к безопасной разработке становятся всё жёстче, обновление правил игры было лишь вопросом времени.

Так что разработчикам защищённого ПО, испытательным лабораториям и ИБ-подразделениям теперь придётся сверяться уже с новым набором требований. Старые инструкции официально ушли в архив.

RSS: Новости на портале Anti-Malware.ru