Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

В игровых Telegram-чатах нашли 12 схем скама, нацеленного на подростков

Специалисты F6 проанализировали мошеннические схемы, которые расставлены в популярных чатах и телеграм-каналах про компьютерные игры — тех самых, где ежедневно сидят десятки и сотни тысяч подростков. Аналитики нашли сразу 12 видов скама, нацеленного на кражу денег, угон аккаунтов и вовлечение детей в сомнительные — а порой и откровенно преступные — действия.

Специалисты департамента Digital Risk Protection изучали комментарии под постами в игровых каналах и обнаружили целую мошенническую экосистему.

Злоумышленники расставляют приманки с помощью ботов: фейковые профили обещают баснословные доходы, присылают ссылки на инвестсхемы, онлайн-казино, «задания за деньги», «горячие видео» или выгодные предложения по покупке игровой валюты и скинов.

Подростки — идеальная аудитория для таких атак: они постоянно в Сети, доверчивы и легко реагируют на эмоциональные триггеры вроде подарков, бонусов и обещаний «быстрого заработка».

 

12 схем: восемь — про деньги, две — про угон аккаунтов, две — про криминал. F6 выделила три главных направления атак:

  • скам для выманивания денег;
  • фишинг и угон аккаунтов в играх и мессенджерах;
  • вовлечение подростков в незаконные операции, например продажу банковских карт.

 

Среди самых опасных:

  • инвестскам с ботами под видом «красивых девушек»;
  • рискованные «задания за деньги», которые заканчиваются тем, что подросток отправляет мошенникам крупные суммы;
  • «медовые ловушки» с контентом 18+, где преступники используют шантаж;
  • продажа игровой валюты и аккаунтов со 100% шансом остаться ни с деньгами, ни с товаром;
  • угон Telegram- и игровых аккаунтов через поддельные «подарки» и «стримерские конкурсы»;
  • скупка банковских и «Пушкинских» карт, где преступники пытаются вовлечь подростков в финансовые правонарушения.

 

Злоумышленники активно пользуются ботами и ИИ, чтобы массово распространять приманки. При этом администраторы чатов стараются противодействовать: применяют собственные инструменты фильтрации, блокировки и мониторинга.

«Мошенники могут появиться в любом тематическом канале — неважно, сколько там подписчиков. Бороться с ними сложно, и в этой гонке ИИ зачастую работает на тёмную сторону. Но инструменты защиты тоже развиваются», — отмечает аналитик CERT F6 Анастасия Князева.

RSS: Новости на портале Anti-Malware.ru