Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

Энтузиаст запустил чат-бот на процессоре Z80 1976 года

Легендарный процессор Zilog Z80, которому в этом году почти 50 лет, внезапно получил собственный «ИИ». Разработчик под ником HarryR представил проект Z80-μLM — крошечную «разговорную модель», которая реально работает на 8-битном Z80 с 64 КБ памяти.

Сразу расставим точки над i: тест Тьюринга этот ИИ не пройдёт, мир не захватит и цены на Z80 из-за него не взлетят. Сам автор честно говорит, что это эксперимент и «развлечение для души». Но эксперимент крайне изящный, именно этим он и цепляет.

Z80-μLM — это минималистичная «разговорная ИИ-модель», которая генерирует ответы посимвольно. Вся система, включая инференс и простой чат-интерфейс, уместилась примерно в 40 КБ. Для наглядности: это обычный .COM-файл, который спокойно запускается в CP/M и помещается в стандартную область памяти TPA.

Внутри сплошная инженерная магия старой школы. Никаких чисел с плавающей точкой, только целочисленная арифметика, заточенная под возможности Z80. Веса квантованы до 2 бит (значения от −2 до +1), четыре веса упакованы в один байт.

Входной текст кодируется через хеширование триграмм в 128 «корзин» — это делает модель устойчивой к опечаткам и нечувствительной к порядку слов. Всё максимально просто, жёстко и эффективно.

HarryR подчёркивает, что его цель была не «ум», а минимальный размер при сохранении ощущения характера. И, как ни странно, это работает. Ответы у чат-бота короткие, иногда нарочито сухие или уклончивые:

  • OK — нейтральное подтверждение,
  • WHY? — сомнение в вашем вопросе,
  • R U? — философский ответ с намёком,
  • MAYBE — честная неопределённость,
  • AM I? — вопрос в ответ.

Из-за этой лаконичности общение превращается в своеобразную игру: приходится угадывать, «понял» ли бот вопрос, и достраивать смысл самому. И тут невольно ловишь себя на мысли, что мозг начинает приписывать этой кучке байтов некую личность. Или это просто классическая человеческая склонность к антропоморфизму — вопрос открытый.

В проекте есть два готовых примера. Первый — Tinychat, простой чат-бот, который отвечает на приветствия и вопросы о себе. Второй — Guess, вариация игры «20 вопросов», где модель загадывает нечто, а пользователь пытается это угадать. Оба варианта доступны в виде готовых бинарников: для CP/M — стандартные .COM-файлы, для ZX Spectrum — .TAP-образы кассет, которые можно загрузить в эмулятор или даже на реальное железо.

Отдельная ирония ситуации в том, что Z80 как раз недавно официально отправили «на пенсию». В апреле 2024 года Zilog объявила о прекращении поддержки чипа (PDF) из-за закрытия производства на стороне фабрики. Правда, почти сразу энтузиасты взялись за замену, и в рамках проекта Tiny Tapeout появился рабочий совместимый клон.

RSS: Новости на портале Anti-Malware.ru