Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

Армянская CERT остановила массовый угон аккаунтов WhatsApp

Во второй половине января в CyberHUB-AM (Группа реагирования на киберинциденты в Армении) посыпались жалобы на потерю доступа к аккаунту WhatsApp (принадлежит Meta, признанной экстремистской и запрещенной в России).

За полмесяца армянская CERT получила более 2 тыс. подобных сообщений. По оценкам экспертов, злоумышленникам суммарно удалось взломать не менее 4 тыс. учетных записей.

Захватив контроль над аккаунтами, взломщики использовали их для создания бизнес-профилей, из-под которых в дальнейшем рассылался спам. Защитные системы мессенджера исправно отслеживали злоупотребления и блокировали жертв взлома.

Получить доступ к истории чатов, отправленным файлам, журналам вызовов авторам атак, по данным CyberHUB-AM, не удалось.

Расследование показало, что злоумышленники использовали уязвимости в цепочке доставки СМС. Эксплойт облегчил перехват регистрационных данных — в частности, кодов двухфакторной аутентификации (2FA).

По версии киберполиции Армении, перехват СМС в данном случае был реализован через атаку на протокол SS7.

 

Выявив хакерскую кампанию, команда CyberHUB-AM связалась с Meta (в России ее деятельность признана экстремистской и запрещена), и совместными усилиями они стали оказывать помощь в возврате доступа к аккаунтам. Эксперты также регулярно публиковали видео с соответствующими инструкциями, чтобы юзеры смогли самостоятельно решить проблему.

Более того, и Meta, и СМС-провайдер приняли дополнительные меры защиты. В результате к февралю поток жалоб в CERT от пользователей WhatsApp почти иссяк.

Примечательно, что тем, у кого в настройках был включен 2FA, оказалось проще вернуть контроль над аккаунтом. Злоумышленники не смогли от их имени создать бизнес-профиль и рассылать спам, поэтому такие жертвы не попали под блок.

В рунете доступ к WhatsApp в настоящее время блокируется из-за многократных нарушений IM-сервисом местного законодательства, которые тот, по версии Роскомнадзора, упорно отказывается устранять.

RSS: Новости на портале Anti-Malware.ru