Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Как оказалось, ИИ-бот OpenAI при правильных наводящих вопросах может слить дерево файлов и папок хост-системы, а также плейбук с правилами общения с пользователями. Возможны также загрузка и запуск программ, но только в пределах изолированной среды.

Недокументированные возможности песочницы ChatGPT, грозящие раскрытием конфиденциальной информации, обнаружил эксперт Mozilla Марко Фигероа (Marco Figueroa). Разработчики приняли отчет к сведению, но ужесточать ограничения по доступу не планируют.

В ходе работы над Python-проектом умный помощник выдал исследователю ошибку «directory not found» («каталог не найден»), которая и раскрыла наличие доступа к файловой системе. Заинтересовавшись, Фигероа попросил перечислить файлы, вставив в запрос строку list files (англоязычный аналог Linux-команды ls).

В ответ ChatGPT вывел список файлов и директорий, характерных для Linux: bin, dev, tmp, sys и т. п. Экспериментатор пришел к выводу, что ИИ-бот работал на каком-то дистрибутиве, скорее всего Debian, в контейнерной среде; конфигурационные данные содержались в папке /home/sandbox/.openai_internal/.

Также выяснилось, что расширенный доступ позволяет выполнять действия над файлами: загружать, скачивать, перемещать, запускать на исполнение. Так, Фигероа удалось загрузить и запустить в песочнице простенький Python-скрипт, выводящий на экран приветствие «Hello, World!» (в BleepingComputer поставили такой же опыт со сценарием поиска файлов TXT).

Подобные возможности, по словам эксперта, повышают прозрачность и функциональность, но создают риск злоупотреблений, который, впрочем, смягчает надежная изоляция рабочей среды.

Фигероа также смог, используя инъекцию стимула, скачать плейбук ChatGPT, содержащий директивы по взаимодействию с пользователями. Знакомство с внутренними механизмами ИИ-модели, по мнению эксперта, облегчает внедрение вредоносных подсказок и обход ограничений LLM.

«В документации эти возможности не отражены, — подчеркнул исследователь, комментируя свои находки для Dark Reading. — Полагаю, это просто недоработка проекта. В какой-то момент объявится 0-day, и тогда случится беда».

В ответ на запрос репортера представитель OpenAI заявил, что находки эксперта на уязвимость не тянут, и в подобном поведении ничего неожиданного нет.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

PT NAD помог Ортиксу выявить уязвимости и нарушения в сети

Компания «Ортикс», управляющая сетью из 59 ортопедических салонов по всей стране, внедрила систему анализа трафика PT Network Attack Discovery (PT NAD) от Positive Technologies. Решение было выбрано после успешного пилотного тестирования, в ходе которого служба информационной безопасности выявила несколько инцидентов и уязвимостей в сети.

«Ортикс» ежегодно обслуживает более 100 тысяч клиентов, и защита персональных данных — одна из приоритетных задач. На фоне роста числа кибератак компания решила усилить контроль за трафиком и происходящим в сети.

«Нам было важно видеть, что именно происходит внутри — какой трафик идёт, какие угрозы могут появиться, и в каком виде. Нужно было всё это отслеживать в реальном времени», — говорит Артемий Балеевских, руководитель АСУП в «Ортиксе».

Внедрение системы проводил партнёр Positive Technologies — компания «Экстрим безопасность». Интегратор адаптировал систему под инфраструктуру «Ортикса» и настроил визуализацию угроз с разбивкой по уровням опасности.

После тестирования специалисты представили отчёт с перечнем выявленных проблем. Среди них:

  • использование запрещённого софта на рабочих станциях;
  • слабые (словарные) пароли у пользователей;
  • наличие уязвимости, которая могла привести к взлому критически важной системы;
  • флуд-атака на внутреннюю инфраструктуру;
  • активность майнера криптовалюты и ботнета, использовавшего ресурсы компании для спама.

После анализа результатов пилотного проекта «Ортикс» решил оставить PT NAD в качестве постоянного решения. В компании отметили, что помимо внешних угроз система также помогла выявить нарушения политик безопасности внутри сети. В будущем планируется дополнительно внедрить систему класса NGFW (межсетевой экран нового поколения) и связать её с PT NAD для повышения общей защищённости.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru