Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

На ЕГЭ впервые массово попытались списать с помощью ИИ

На ЕГЭ-2026 впервые выявили не одиночную попытку воспользоваться искусственным интеллектом, а целую схему с участием большого числа школьников. Об этом сообщил глава Рособрнадзора Анзор Музаев.

По его словам, за проектом стояли взрослые, которые создали специальную фирму, продавали микронаушники и разработали приложение с ИИ.

Сервис должен был подсказывать ответы и помогать участникам набрать высокие баллы.

Схему удалось вовремя раскрыть, а экзаменационные работы аннулировали. В Рособрнадзоре считают случай пока единичным, но предупреждают: если не реагировать, ИИ-шпаргалки быстро превратятся из экзотики в полноценную индустрию.

Ирония в том, что ловить нарушителей тоже помогал искусственный интеллект. На экзаменах работает система машинного зрения, которая отмечает подозрительное поведение в аудиториях. В 2020 году она выявила 21 возможное нарушение, в 2021-м — 137, а в 2026-м выдала уже 803 метки.

Более 90% случаев, закончившихся удалением с экзамена, сначала заметила нейросеть. Правда, окончательное решение всё равно принимал человек: каждую метку проверял модератор.

Первого нарушителя на досрочном этапе ЕГЭ-2026 также вычислило машинное зрение.

Получилась почти идеальная технологическая дуэль: один ИИ помогал списывать, другой — ловил списывающих. И пока победила нейросеть, которая сидела на стороне экзаменаторов.

RSS: Новости на портале Anti-Malware.ru