Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

Подпишитесь на новости

Google обвинила производителя ТВ-приставок в создании ботнета

Купили ТВ-приставку, а вместе с ней получили тайного арендатора домашнего интернета. Google и партнёры отключили инфраструктуру бэкдора XCPE, объединившего более 1,3 млн приставок. По оценке Google, вредоносную систему намеренно создала и использовала Videostrong — производитель устройств, связанный с брендом MECOOL.

Подробности расследования компания опубликовала в своём блоге.

Google утверждает, что Videostrong продавала доступ к заражённым устройствам другим злоумышленникам. Те загружали дополнительные модули для рекламного мошенничества, подключения приставок к прокси-сетям и распространения вредоносной программы.

Возможности не ограничивались накруткой рекламы. Исследователи наблюдали создание скриншотов, имитацию нажатий, выгрузку сведений об аккаунтах и выполнение команд. Приставка под телевизором фактически становилась чужим компьютером внутри домашней сети.


Вредоносные компоненты обнаружили в разных моделях и брендах за несколько лет. По версии Google, производитель обходил проверки, загружая опасный код после первого запуска. Компания уже изменила процедуру тестирования.

Google прекратила сотрудничество с Videostrong и запретила ей выпускать устройства с предустановленными приложениями Google. Важная деталь: бэкдор встроен в системную прошивку и способен переустанавливать удалённый компонент после перезагрузки.

RSS: Новости на портале Anti-Malware.ru