Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Как оказалось, ИИ-бот OpenAI при правильных наводящих вопросах может слить дерево файлов и папок хост-системы, а также плейбук с правилами общения с пользователями. Возможны также загрузка и запуск программ, но только в пределах изолированной среды.

Недокументированные возможности песочницы ChatGPT, грозящие раскрытием конфиденциальной информации, обнаружил эксперт Mozilla Марко Фигероа (Marco Figueroa). Разработчики приняли отчет к сведению, но ужесточать ограничения по доступу не планируют.

В ходе работы над Python-проектом умный помощник выдал исследователю ошибку «directory not found» («каталог не найден»), которая и раскрыла наличие доступа к файловой системе. Заинтересовавшись, Фигероа попросил перечислить файлы, вставив в запрос строку list files (англоязычный аналог Linux-команды ls).

В ответ ChatGPT вывел список файлов и директорий, характерных для Linux: bin, dev, tmp, sys и т. п. Экспериментатор пришел к выводу, что ИИ-бот работал на каком-то дистрибутиве, скорее всего Debian, в контейнерной среде; конфигурационные данные содержались в папке /home/sandbox/.openai_internal/.

Также выяснилось, что расширенный доступ позволяет выполнять действия над файлами: загружать, скачивать, перемещать, запускать на исполнение. Так, Фигероа удалось загрузить и запустить в песочнице простенький Python-скрипт, выводящий на экран приветствие «Hello, World!» (в BleepingComputer поставили такой же опыт со сценарием поиска файлов TXT).

Подобные возможности, по словам эксперта, повышают прозрачность и функциональность, но создают риск злоупотреблений, который, впрочем, смягчает надежная изоляция рабочей среды.

Фигероа также смог, используя инъекцию стимула, скачать плейбук ChatGPT, содержащий директивы по взаимодействию с пользователями. Знакомство с внутренними механизмами ИИ-модели, по мнению эксперта, облегчает внедрение вредоносных подсказок и обход ограничений LLM.

«В документации эти возможности не отражены, — подчеркнул исследователь, комментируя свои находки для Dark Reading. — Полагаю, это просто недоработка проекта. В какой-то момент объявится 0-day, и тогда случится беда».

В ответ на запрос репортера представитель OpenAI заявил, что находки эксперта на уязвимость не тянут, и в подобном поведении ничего неожиданного нет.

ФСТЭК обновила правила аттестации защищённых информационных систем

ФСТЭК России скорректировала порядок аттестации объектов информатизации, на которых обрабатывается информация ограниченного доступа, не содержащая государственную тайну. Изменения внесены в действующий приказ № 77 и затрагивают сразу несколько этапов проверки защищённости.

Регулятор объяснял необходимость обновления документа тем, что его нужно привести в соответствие с новыми требованиями к защите государственных информационных систем и других информационных систем госорганов, утверждёнными приказом ФСТЭК № 117 от 11 апреля 2025 года.

Кроме того, при подготовке изменений учитывался опыт применения действующего порядка аттестации, который действует с 2021 года.

В новой редакции приказа уточняются требования к проведению аттестационных испытаний — то есть проверок, которые подтверждают соответствие объекта установленным требованиям безопасности.

Изменения также коснулись периодического контроля уже аттестованных объектов. ФСТЭК конкретизировала, какие мероприятия должны проводиться для проверки уровня защищённости информации после получения аттестата.

Ещё одно нововведение касается оформления результатов проверок. Обновлены требования к содержанию отчётов и протоколов, составляемых по итогам контроля защищённости.

По сути, документ не меняет саму идеологию аттестации, но делает её более формализованной и приводит действующий порядок в соответствие с обновлённой нормативной базой.

Для организаций, которым необходимо проходить аттестацию информационных систем, это означает, что при подготовке к проверкам и последующему контролю придётся ориентироваться уже на новые требования ФСТЭК.

RSS: Новости на портале Anti-Malware.ru