Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

ИИ заглянул в унитаз: стартапы предлагают анализировать стул по подписке

Трекеры уже считают шаги, оценивают сон и следят за пульсом, теперь технологические компании решили проанализировать и то, что пользователь оставляет в унитазе. Kohler Health и стартап Throne продают устройства с камерами, которые изучают мочу и стул, а затем выставляют владельцу очередную оценку здоровья.

Гаджеты крепятся к унитазу и направляют камеру строго вниз (производители отдельно подчёркивают, что развернуть её вверх нельзя).

Датчик фиксирует поход в туалет, после чего алгоритм анализирует цвет и консистенцию выделений, оценивает уровень гидратации и ищет отклонения от индивидуальной нормы. Отчёт появляется в мобильном приложении через несколько минут.

Удовольствие недешёвое. Устройство Kohler Health стоит $449 (почти 40 тыс. руб.), семейная подписка — ещё $130 (11 250 руб.) в год. Throne просит $399 за гаджет и $70 (чуть более 6000 руб.) ежегодно за доступ к сервису. Иными словами, даже собственные биологические данные теперь доступны по подписке.


Производители обещают выявлять закономерности и помогать людям с заболеваниями кишечника вести автоматический дневник. Kohler Health уже заявляет о функции обнаружения крови, а Throne разрабатывает модель с мультиспектральной камерой, которая теоретически сможет замечать признаки кровотечения раньше человеческого глаза.

В перспективе технологию хотят использовать для раннего выявления колоректального рака, но клиническая эффективность такого подхода пока не доказана.


Гастроэнтерологи встречают такой подход без восторга. Здоровому человеку, по их мнению, проще самому посмотреть на результат, а ИИ пока не добавляет к этому много новой науки.

Есть вопросы и к конфиденциальности. Компании собирают сведения о здоровье, питании и лекарствах, а также обычные персональные данные. Информация может передаваться подрядчикам, новому владельцу бизнеса или правоохранительным органам.

RSS: Новости на портале Anti-Malware.ru