Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

Mozilla засветила ключ подписи Firefox и Thunderbird в GitHub

Mozilla заменила GPG-ключ, которым подписывала некоторые сборки Firefox и Thunderbird. Причина в этот раз серьёзная: незашифрованную копию секретного ключа случайно загрузили в закрытый репозиторий GitHub. Ключ использовался для подписи Linux-архивов, RPM-пакетов и файлов контрольных сумм.

Теоретически его обладатель мог бы подписать поддельные установщики, выдав их за официальные релизы Mozilla. Однако компания оценивает риск атаки на цепочку поставок как низкий.

Репозиторий был доступен лишь небольшой группе сотрудников Mozilla, которые и без того имели законный доступ к ключу. Проверка журналов аудита не выявила признаков того, что секретом воспользовался кто-то посторонний. Поэтому старый ключ отозвали и выпустили новый.

Большинству пользователей ничего делать не придётся. Тем, кто самостоятельно проверяет GPG-подписи загруженных файлов, необходимо импортировать новый ключ и данные об отзыве прежнего.

Чуть больше хлопот может достаться владельцам Linux-систем, устанавливающим Firefox из RPM-пакетов. В зависимости от дистрибутива им придётся вручную обновить ключ, иначе свежие версии браузера могут перестать устанавливаться.

Mozilla опубликовала отдельные инструкции для Fedora, RHEL, Rocky Linux, AlmaLinux, openSUSE и SUSE. Пользователей Thunderbird эта часть не касается: официальных RPM-пакетов почтовый клиент не выпускает.

Новый подключ действует до 5 августа 2028 года. Публичный ключ и сведения об отзыве старого доступны в актуальных файлах KEY для Firefox Nightly и на сервере keys.openpgp.org.

Mozilla также пообещала принять меры, чтобы секретные ключи больше не отправлялись гулять по репозиториям.

RSS: Новости на портале Anti-Malware.ru