Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Как оказалось, ИИ-бот OpenAI при правильных наводящих вопросах может слить дерево файлов и папок хост-системы, а также плейбук с правилами общения с пользователями. Возможны также загрузка и запуск программ, но только в пределах изолированной среды.

Недокументированные возможности песочницы ChatGPT, грозящие раскрытием конфиденциальной информации, обнаружил эксперт Mozilla Марко Фигероа (Marco Figueroa). Разработчики приняли отчет к сведению, но ужесточать ограничения по доступу не планируют.

В ходе работы над Python-проектом умный помощник выдал исследователю ошибку «directory not found» («каталог не найден»), которая и раскрыла наличие доступа к файловой системе. Заинтересовавшись, Фигероа попросил перечислить файлы, вставив в запрос строку list files (англоязычный аналог Linux-команды ls).

В ответ ChatGPT вывел список файлов и директорий, характерных для Linux: bin, dev, tmp, sys и т. п. Экспериментатор пришел к выводу, что ИИ-бот работал на каком-то дистрибутиве, скорее всего Debian, в контейнерной среде; конфигурационные данные содержались в папке /home/sandbox/.openai_internal/.

Также выяснилось, что расширенный доступ позволяет выполнять действия над файлами: загружать, скачивать, перемещать, запускать на исполнение. Так, Фигероа удалось загрузить и запустить в песочнице простенький Python-скрипт, выводящий на экран приветствие «Hello, World!» (в BleepingComputer поставили такой же опыт со сценарием поиска файлов TXT).

Подобные возможности, по словам эксперта, повышают прозрачность и функциональность, но создают риск злоупотреблений, который, впрочем, смягчает надежная изоляция рабочей среды.

Фигероа также смог, используя инъекцию стимула, скачать плейбук ChatGPT, содержащий директивы по взаимодействию с пользователями. Знакомство с внутренними механизмами ИИ-модели, по мнению эксперта, облегчает внедрение вредоносных подсказок и обход ограничений LLM.

«В документации эти возможности не отражены, — подчеркнул исследователь, комментируя свои находки для Dark Reading. — Полагаю, это просто недоработка проекта. В какой-то момент объявится 0-day, и тогда случится беда».

В ответ на запрос репортера представитель OpenAI заявил, что находки эксперта на уязвимость не тянут, и в подобном поведении ничего неожиданного нет.

Эксперты допустили новую зачистку российского софта в App Store

Apple удалила из App Store основные приложения холдинга VK, а эксперты уже предупреждают: на этом зачистка российского софта может не закончиться. Основания, которыми объясняются ограничения, подходят далеко не только для сервисов одной компании.

25 июня из магазина исчезли «ВКонтакте», «Одноклассники», «Дзен», VK Видео, VK Музыка, VK Знакомства и Mail.ru.

Ранее та же участь постигла мессенджер МАКС. Его удаление связывали с претензиями к безопасности, а блокировку остальных приложений — с санкциями.

Опрошенные «Коммерсантом» участники рынка считают ситуацию опасным прецедентом. Многие крупные российские платформы работают по одним и тем же законам: взаимодействуют с государственными органами и в предусмотренных случаях передают им данные.

Если этого достаточно для санкций, очередь из кандидатов на вылет из App Store может получиться длинной.

Не слишком убедительным эксперты называют и аргумент об обязательной предустановке МАКС на смартфоны. В России действует целый перечень программ для предустановки, поэтому при желании ту же логику можно распространить на сервисы других разработчиков.

В зоне риска оказываются не только мессенджеры и электронная почта, но и любые крупные цифровые платформы с широкой аудиторией и сложной инфраструктурой. Иными словами, билет из App Store потенциально может получить почти любой заметный российский сервис.

Пока речь идёт лишь об оценках участников рынка: Apple не объявляла о новой массовой волне удалений. Но сигнал получился вполне прозрачным. Сегодня из магазина исчезли VK и МАКС, а завтра кнопка «Недоступно в вашем регионе» может встретить пользователей совсем другого приложения.

RSS: Новости на портале Anti-Malware.ru