Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

WMX представила систему защиты сайтов от «умных ботов»

Российская компания WMX (ООО «Вебмониторэкс») представила новое решение для защиты веб-ресурсов от автоматизированных атак — WMX SmartBot Protection. Продукт рассчитан не только на массовый бот-трафик, но и на более сложных ботов, которые умеют имитировать поведение обычных пользователей.

Проблема здесь вполне прикладная. Значительная часть интернет-трафика сегодня создаётся не людьми, а автоматизированными скриптами.

Такие боты могут собирать данные с сайтов, перебирать пароли, создавать фейковые аккаунты, искать уязвимости и в целом мешать нормальной работе онлайн-сервисов. Особенно чувствительны к этому интернет-магазины, финансовые сервисы, агрегаторы, доски объявлений, медиаплатформы и стриминговые площадки.

При этом боты становятся всё менее примитивными. Если раньше их можно было сравнительно легко отсечь по шаблонному поведению, то теперь они нередко умеют маскироваться под живого пользователя: заходят через браузер, имитируют движение мыши и даже проходят простые CAPTCHA. Из-за этого стандартных фильтров уже часто недостаточно.

В WMX говорят, что их система использует несколько уровней проверки. Сначала трафик фильтруется по базовым признакам — например, по IP-адресам и User-Agent. Если этого недостаточно, дальше подключается анализ браузерного окружения: параметров экрана, шрифтов, а также особенностей canvas и WebGL, которые могут указывать на эмуляторы или headless-браузеры.

Следующий этап — поведенческий анализ. Система смотрит, как именно ведёт себя пользователь: есть ли движения мыши, насколько быстро заполняются формы и не выглядят ли действия слишком механическими. После этого подключаются эвристики, которые оценивают уже не отдельные признаки, а их сочетание. Например, если кто-то кликает строго по центру кнопок через одинаковые интервалы времени, это может выглядеть подозрительно, даже если по отдельности такие действия не кажутся аномальными.

При необходимости могут использоваться и дополнительные проверки, включая CAPTCHA.

Новое решение работает в связке с WMX ПроWAF, веб-экраном компании. Логика здесь довольно понятная: антибот-система должна отсеивать автоматизированный трафик, а WAF — уже защищать приложение от попыток эксплуатации уязвимостей вроде SQL-инъекций, XSS или RCE. Заодно это снижает нагрузку на инфраструктуру, потому что до основного контура доходит уже более «чистый» трафик.

В компании также сообщили, что в будущих версиях собираются добавить систему скоринга угроз и механизмы, связанные с ML, для автоматического формирования новых эвристик.

RSS: Новости на портале Anti-Malware.ru