Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Молодой уральский медик попал под суд за поиск экстремистских материалов

В Свердловской области суд рассматривает дело молодого медика, обвиняемого в умышленном поиске экстремистских материалов (ст. 13.53 КоАП РФ). Это первый известный случай попытки привлечь к ответственности по новой статье, введённой летом 2025 года.

Согласно законодательству, штраф до 5 тысяч рублей грозит тем, кто осуществляет «поиск заведомо экстремистских материалов и получение доступа к ним, в том числе с использованием программно-аппаратных средств для обхода ограничений доступа к информационным ресурсам».

Как сообщают местные СМИ со ссылкой на адвоката обвиняемого Сергея Барсукова, 20-летний медик столкнулся с запрещённой информацией случайно — 24 сентября, по дороге на работу. По словам защитника, молодой человек лишь наткнулся на сведения о ряде организаций, признанных в России экстремистскими.

Однако, как уточнили источники РИА Новости в оперативных службах, фигурант состоял в неонацистских интернет-сообществах. Его поисковые запросы, по данным следствия, касались деятельности украинских националистических формирований, признанных в России террористическими и запрещёнными.

В тот же день молодого человека вызвали в отдел ФСБ, а 8 октября на него был составлен протокол об административном правонарушении по статье 13.53 КоАП РФ. Адвокат Барсуков предполагает, что информацию в спецслужбы мог передать мобильный оператор.

Первое судебное заседание прошло в конце октября. Защита ходатайствовала о вызове свидетелей.

«Я считаю, что на основании представленных материалов нельзя строить обвинение. До суда я направил жалобу в УФСБ по Свердловской области с просьбой провести служебную проверку в отношении сотрудников отдела по Каменску-Уральскому — на предмет оказания психологического давления на моего подзащитного. Аналогичное обращение направлено в Главное управление МВД России по региону», — заявил адвокат Сергей Барсуков.

Второе заседание состоялось 6 ноября. Свидетели, вызванные в суд, не явились. В итоге суд не стал выносить решение и вернул материалы дела на доработку.

«Сегодня я обратил внимание суда на то, что представленные материалы являются „сырыми“: в них отсутствуют доказательства вины моего подзащитного. Суд с доводами согласился и направил дело правоохранителям для устранения недостатков. Будут ли они устранены — сомневаюсь, поскольку мой подзащитный невиновен», — прокомментировал итоги заседания Сергей Барсуков.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru