Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Эксперты заставили ChatGPT выдать данные обучения

Исследователям удалось заставить ChatGPT выдать часть данных, которые использовались для обучения. Специалисты просто предлагали чат-боту повторять слова «poem», «company», «send», «make» и «part» до бесконечности.

Как уточняют эксперты в опубликованном отчёте (PDF), когда ChatGPT попросили бесконечно повторять слово «poem», после нескольких сотен попыток бот начал генерировать бессмысленные данные, часть которых явно относилась к процессу его обучения.

Например, среди вытащенных сведений можно было найти подпись электронной почты конкретного человека, а также другую контактную информацию.

Специалисты выяснили, что некоторые слова гораздо лучше подходят для извлечения данных обучения. Например, при бесконечном повторении слова «company» ChatGPT выдаст такие сведения в 164 чаще, чем при повторении, например, слова «know».

В результате исследователям удалось вытащить персональные данные десятков пользователей, откровенный контент (при повторении аббревиатуры NSFW), абзацы книг и стихов (при использовании слов «book» и «poem»), а также уникальные URL, идентификаторы пользователей, биткоин-адреса и даже программный код.

 

«Мы смогли извлечь более 10 тыс. уникальных заученных моделей ChatGPT (версии gpt-3.5-turbo), используя всего лишь запросы на сумму 200 долларов», — объясняют специалисты.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Более 50% компаний перекладывают непрерывность на ИТ, 20% имеют план

«Инфосистемы Джет» провела масштабное исследование практик восстановления после инцидентов и выяснила: большинство российских компаний относятся к киберустойчивости фрагментарно и чаще действуют по факту, а не по плану. Ключевая мысль исследования — сегодня именно инциденты информационной безопасности и крупные ИТ-сбои чаще всего прерывают бизнес-процессы.

При этом компании по-прежнему разделяют ответственность так, что получается разрыв между операциями и стратегией.

Основные выводы исследования:

  • Более половины компаний полностью возлагают заботу о непрерывности процессов на ИТ-отдел.
  • Только 20% организаций имеют согласованный с бизнесом план восстановления ИТ-инфраструктуры.
  • 37% полагаются исключительно на резервное копирование, а каждая пятая компания не защищает резервные копии дополнительно — это оставляет их уязвимыми.
  • Кризис-менеджмент преимущественно реактивный: команды действуют по мере возникновения проблем, а не по отработанным сценариям.
  • 70% организаций тестируют планы восстановления, но почти не моделируют реальные инциденты.
  • Лишь 40% готовы публично говорить о произошедших инцидентах, что мешает формированию прозрачной культуры киберустойчивости.

Исследование подчёркивает: базовых мер часто мало. Подразделения информационной безопасности фокусируются на защите периметра, ИТ — на восстановлении систем, но редко выстраивается сквозной, комплексный подход — от предотвращения инцидента до его отработки и анализа последствий. В результате у компании может быть «крепкий» периметр и надёжные бэкапы, но при этом игнорироваться защита критических контуров вроде СРК, а плохо настроенные процессы восстановления приводят к большим потерям даже при наличии отдельных сильных элементов.

Что нужно делать дальше:

  • Внедрять BIA (анализ влияния на бизнес), оценку рисков и регулярное тестирование планов восстановления.
  • Переходить от реактивного реагирования к отработанным сценариям и моделированию реальных инцидентов.
  • Защищать резервные копии отдельно и вводить лимиты/контроли на их доступ.
  • Вовлекать весь бизнес: киберустойчивость — это не только задача службы ИБ или ИТ, это общая ответственность ИТ-отдела, бизнеса, финансов, HR и руководства.
  • Стремиться к антихрупкости — архитектуре и процессам, которые не просто выдерживают удар, но учатся и укрепляются после инцидента.

«Главное отличие компаний, которые быстро восстанавливаются после кибератаки, — они готовились заранее», — говорит Андрей Янкин, директор центра информационной безопасности «Инфосистемы Джет». «Почти никогда не получается восстановиться с первого раза, если это ни разу не отрабатывалось на практике. Нужно проводить учения, моделировать атаки, проверять коммуникации и распределение ролей. И самое важное — вовлечённость всей компании: киберустойчивость невозможна, если в ней участвует только служба ИБ».

В итоге исследование показывает, что переход от точечных мер к стратегическому, системному подходу — не прихоть, а необходимость. Компании, которые начнут системно оценивать риски, тестировать сценарии и вовлекать все подразделения, будут восстанавливаться быстрее и получать меньше ущерба от будущих инцидентов.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru