Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Песочница ChatGPT открывает доступ к файлам ОС и внутренней кухне LLM

Как оказалось, ИИ-бот OpenAI при правильных наводящих вопросах может слить дерево файлов и папок хост-системы, а также плейбук с правилами общения с пользователями. Возможны также загрузка и запуск программ, но только в пределах изолированной среды.

Недокументированные возможности песочницы ChatGPT, грозящие раскрытием конфиденциальной информации, обнаружил эксперт Mozilla Марко Фигероа (Marco Figueroa). Разработчики приняли отчет к сведению, но ужесточать ограничения по доступу не планируют.

В ходе работы над Python-проектом умный помощник выдал исследователю ошибку «directory not found» («каталог не найден»), которая и раскрыла наличие доступа к файловой системе. Заинтересовавшись, Фигероа попросил перечислить файлы, вставив в запрос строку list files (англоязычный аналог Linux-команды ls).

В ответ ChatGPT вывел список файлов и директорий, характерных для Linux: bin, dev, tmp, sys и т. п. Экспериментатор пришел к выводу, что ИИ-бот работал на каком-то дистрибутиве, скорее всего Debian, в контейнерной среде; конфигурационные данные содержались в папке /home/sandbox/.openai_internal/.

Также выяснилось, что расширенный доступ позволяет выполнять действия над файлами: загружать, скачивать, перемещать, запускать на исполнение. Так, Фигероа удалось загрузить и запустить в песочнице простенький Python-скрипт, выводящий на экран приветствие «Hello, World!» (в BleepingComputer поставили такой же опыт со сценарием поиска файлов TXT).

Подобные возможности, по словам эксперта, повышают прозрачность и функциональность, но создают риск злоупотреблений, который, впрочем, смягчает надежная изоляция рабочей среды.

Фигероа также смог, используя инъекцию стимула, скачать плейбук ChatGPT, содержащий директивы по взаимодействию с пользователями. Знакомство с внутренними механизмами ИИ-модели, по мнению эксперта, облегчает внедрение вредоносных подсказок и обход ограничений LLM.

«В документации эти возможности не отражены, — подчеркнул исследователь, комментируя свои находки для Dark Reading. — Полагаю, это просто недоработка проекта. В какой-то момент объявится 0-day, и тогда случится беда».

В ответ на запрос репортера представитель OpenAI заявил, что находки эксперта на уязвимость не тянут, и в подобном поведении ничего неожиданного нет.

Мошенники подделывают голоса следователей с помощью ИИ

Злоумышленники всё чаще выдают себя за сотрудников следственных органов, используя технологии искусственного интеллекта для генерации голосов и визуальных образов. Нейросети также применяются для создания убедительных текстовых сообщений. Такой подход позволяет мошенникам выманивать персональные данные и убеждать людей передавать деньги или ценности.

О распространении этой практики рассказал ТАСС руководитель регионального управления Следственного комитета по Калининградской области Дмитрий Канонеров.

По его словам, использование нейросетевых технологий позволяет создавать крайне правдоподобный контент, который легко воспринимается как подлинный.

«Мошенники используют должности и фамилии сотрудников нашего ведомства, которые нередко выступают по телевидению с комментариями по уголовным делам. Они задействуют искусственный интеллект, способный сгенерировать голос. Недавно к моему заместителю пришло голосовое сообщение “от меня”. Звучало действительно очень похоже», — отметил Дмитрий Канонеров.

Как пояснил представитель Следственного комитета, действуя от имени ведомства, злоумышленники часто ведут себя агрессивно и грубо. Таким образом они усиливают психологическое давление на потенциальных жертв и пытаются вывести их из эмоционального равновесия.

Дмитрий Канонеров также напомнил, что порядок проведения следственных действий строго регламентирован. Сотрудники правоохранительных органов не проводят такие действия дистанционно — они осуществляются исключительно в очном формате. Вызов граждан производится с помощью повестки или телефонограммы. Кроме того, представители следствия никогда не требуют перевода денег или передачи каких-либо товарно-материальных ценностей.

Одним из самых распространённых видов мошенничества с применением дипфейков остаются просьбы о материальной помощи от имени знакомых и коллег потенциальных жертв. Для рассылки таких сообщений злоумышленники, как правило, используют похищенные аккаунты. Также ранее фиксировались случаи использования визуальных образов губернаторов ряда регионов.

RSS: Новости на портале Anti-Malware.ru