Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

AM LiveКак эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

В Security Vision 5 внедрили новые механизмы контроля доступа к API

Платформа Security Vision 5 получила очередное обновление, в котором разработчики сосредоточились на улучшении безопасности, управляемости и прозрачности процессов. Релиз приносит доработки интерфейса, новые механизмы контроля доступа к API, расширенный аудит, улучшения в корреляции событий и инцидентах, а также ряд усовершенствований рабочих процессов и визуализации.

Обновление интерфейса затронуло дизайн редакторов виджетов и свойств объектов. Формы ввода и вывода стали аккуратнее, обновлены иконки групп.

За счёт большей визуальной единой логики повседневные сценарии работы стали проще и понятнее.

С точки зрения безопасности появились важные изменения. Теперь для API-токенов можно задать список разрешённых IP-адресов — это позволяет ограничить вызовы API доверенной инфраструктурой. Добавлен тип учётной записи API-only, предназначенный для интеграций без доступа к веб-интерфейсу. Кроме того, секреты — пароли коннекторов, токены и другие данные — теперь могут перешифровываться собственным мастер-паролем организации.

 

Расширился и объём данных в аудите. Теперь фиксируются остановка расписаний и коннекторов, изменение состояния рабочих процессов, а также создание отчётов — как вручную, так и по расписанию. Можно настроить уровень детализации логирования внутри запущенных процессов.

Корреляционные правила тоже получили обновления: при срабатывании система может автоматически создавать инцидент и формировать раздел с детальной информацией. У правил появилась критичность, а сработки теперь сопровождаются алертами для оценки важности произошедшего.

Рабочие процессы стали гибче. В действии «Вызов коннектора» можно динамически выбирать конфигурацию подключения, что позволяет использовать один блок для разных сред. В корпоративных чатах теперь поддерживаются сообщения от имени «системы», а массовые операции ускорены за счёт запуска одного процесса на несколько выбранных записей.

Для аналитики добавили круговой режим в виджете «Индикатор», а графики получили подписи осей, что улучшило читаемость отчётов. В администрировании теперь можно скрывать раздел «Настройки» для отдельных ролей, снижая риск случайных правок. Быстрые фильтры по умолчанию используют оператор «Входит в», что ускоряет работу со справочниками и множественным выбором.

Обновление получилось объёмным и адресует сразу несколько важных аспектов — от безопасности API до удобства пользователей.

AM LiveКак эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

RSS: Новости на портале Anti-Malware.ru