Эксперты заставили ChatGPT выдать данные обучения

Екатерина Быстрова 04 Декабря 2023 - 10:33

...

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

Следующая главная новость »

Подписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Екатерина Быстрова 17 Июля 2025 - 19:11

САКУРА Корпорации Сетевая безопасность Системы контроля сетевого доступа Системы защиты от утечек конфиденциальной информации (DLP)Системы мониторинга событий безопасности Системы мониторинга эффективности сотрудников Средства управления информационной безопасностью Системы реагирования и управления инцидентами (IRP) ИТ-Экспертиза (IT-Expertise)

Вышла САКУРА 2.36: поддержка ARM и улучшения для VPN и AD

Компания «ИТ-Экспертиза» представила новый релиз системы САКУРА версии 2.36. В нём расширена поддержка платформ, улучшена работа с VPN, добавлены новые отчёты и повышена производительность.

Что нового:

Для всех поддерживаемых ОС теперь доступны дистрибутивы Агента САКУРА как для архитектуры x86, так и для ARM.
В модуле учёта рабочего времени появился отчёт «Работа пользователей по дням» — для анализа активности сотрудников по датам.
Расширены возможности интеграции с VPN-сервисами:

В CheckPoint теперь можно использовать второй фактор от САКУРА и работать без привязки к Active Directory.
В решениях от АМИКОН появилась возможность задавать произвольные коды ответов для настройки доступа.

В Astra Linux реализована цифровая подпись агента — это сделано для работы в замкнутых средах (ЗПС).
Улучшена защита компонентов ПК ИБ и агента от модификаций.
Повышена гибкость синхронизации с Active Directory — добавлены фильтры по группам и пользователям.

Оптимизация и ускорение:

Переработан механизм получения VPN-пользователя из сертификатов — стало надёжнее и быстрее.
Ускорена работа проверок с типами «Сетевой доступ» и «Актуальность обновлений ОС».
Сценарии действия на рабочих местах теперь исполняются быстрее.
При старте Агента снижена нагрузка на систему — доработана логика применения настроек по умолчанию.
Меньше сетевого трафика: оптимизирован способ получения настроек с сервера.
Для macOS уменьшено количество запросов к ОС.
Улучшена работа с пуш-уведомлениями в мобильном приложении.

В релиз также вошли исправления ошибок, обнаруженных в предыдущих версиях.