Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

AM LiveКак эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

ФСБ приостановило работу АИС Мой Спорт на фоне приказа ФСТЭК России №117

Территориальное управление ФСБ по Астраханской области приостановило работу автоматизированной информационной системы «Мой Спорт» из-за отсутствия надлежащего документального оформления. Эксперты считают, что подобные случаи могут стать массовыми на фоне подготовки к вступлению в силу приказа ФСТЭК №117.

Решение принято по итогам проверки, результаты которой приводит ComNews.

Как выяснили сотрудники ФСБ, у системы оказался неясный правовой статус. Проверяющие также не нашли правовых оснований для использования продукта, разработанного коммерческой компанией, в органах муниципальной власти и подведомственных учреждениях. До этого проверку проводила областная прокуратура.

Фактически единственным основанием для внедрения «Мой Спорт» стал протокол рабочего совещания в Министерстве спорта РФ, состоявшегося в марте. В документе региональным властям рекомендовали содействовать заключению лицензионных соглашений между АО «Мой Спорт» и государственными (муниципальными) организациями, реализующими программы спортивной подготовки, не позднее 1 июня 2025 года.

В результате Министерство физкультуры и спорта Астраханской области, не получив от федерального ведомства разъяснений относительно правового статуса системы, приостановило её использование в органах власти и подведомственных учреждениях.

«Подобные проверки могут быть предвестниками того, что начнётся, когда контролирующие органы начнут внимательно отслеживать соблюдение приказа ФСТЭК №117 “Об утверждении требований о защите информации, содержащейся в государственных информационных системах, иных информационных системах государственных органов, государственных унитарных предприятий, государственных учреждений”, который вступит в силу 1 марта 2026 года», — отмечает ComNews.

Приказ ФСТЭК России №117 вступает в силу 1 марта 2026 года. Документ устанавливает требования к защите государственных информационных систем, не относящихся к критической инфраструктуре, и включает как организационные, так и технические меры безопасности.

AM LiveКак эффективно защититься от шифровальщиков? Расскажем на AM Live - переходите по ссылке, чтобы узнать подробности

RSS: Новости на портале Anti-Malware.ru