OpenAI устранила утечку данных в ChatGPT, но не до конца

OpenAI устранила утечку данных в ChatGPT, но не до конца

OpenAI устранила утечку данных в ChatGPT, но не до конца

OpenAI вроде бы устранила баг ChatGPT, который может привести к утечке содержимого чатов на сторонний URL. Почему «вроде бы» — эксперты считают, что патч неполный, а злоумышленники всё ещё могут слить информацию.

Кроме того, исследователи указывают на ещё одну недоработку: в iOS-версии ChatGPT до сих пор не введены проверки безопасности, поэтому сохраняются определённые риски при использовании мобильного приложения.

Напомним, что проблему утечки выявил Иоганн Ребергер, о чём сообщил представителям OpenAI в апреле 2023-го. По его словам, специальная техника позволяет извлечь данные из ChatGPT.

В ноябре Ребергер опубликовал дополнительные сведения и рассказал, как создать вредоносные GPT и с их помощью использовать уязвимость для фишинга.

«Все эти GPT вместе с пояснениями я направил OpenAI. Однако 15 ноября они просто закрыли моё обращение с пометкой “Непригодное“. Два последующих тикета остались без ответа, так что единственным выходом остаётся сделать все мои находки достоянием общественности», — писал тогда специалист.

GPT представляют собой кастомные ИИ-модели, их ещё часто называют «ИИ-приложениями». Они могут помочь при наборе текста или его переводе, проанализировать данные, сформировать рецепты на основе ингредиентов, собрать информацию для исследования и пр.

Ребергер 12 декабря продемонстрировал собственный GPT под названием «The Thief!», способный отправлять содержимое переписок с ИИ-ботом на сторонний URL. Работа этой техники демонстрируется в видео ниже:

 

После того как Ребергер опубликовал детали уязвимости в своём блоге, OpenAI внезапно проснулась и внедрила дополнительные проверки, запрещающие рендеринг изображений с небезопасных ссылок.

Ребергер ответил на это новым постом, где упрекнул разработчиков в неполном фиксе. OpenAI затруднила эксплуатацию бреши, но не устранила её, отметил исследователь.

Подпишитесь на новости

Positive Education научит разработчиков безопасно работать с ИИ-агентами

ИИ-агенту доверили репозиторий, команды и доступ к инструментам, теперь бы убедиться, что вместе с кодом он не написал компании новые проблемы. Positive Education, центр практического обучения Positive Technologies, представил на Positive Security Day (PSD) спринт по безопасной разработке с ИИ-агентами. Программу показали на главной ежегодной конференции компании о технологиях и проектах, которые меняют кибербезопасность.

Первый поток «Безопасной разработки с ИИ-агентами» стартует 23 ноября онлайн.

Обучение займёт три недели — около 40 часов, основную часть которых отведут практике. Регистрация уже открыта.

Участники разберут два сценария: использование готовых кодинг-агентов и создание собственных агентных систем. В программе — моделирование угроз, управление контекстом и правами доступа, защита памяти, секретов и внешних инструментов. Отдельно займутся проверкой сгенерированного кода и обязательными проверками безопасности перед выпуском.

Послушать лекции и разойтись не получится: участникам предстоит провести аудит готовых проектов, найти и исправить уязвимости. В финале — создать собственного ИИ-агента и проверить его безопасность перед запуском.

Спринт рассчитан на разработчиков, AppSec- и DevSecOps-инженеров, архитекторов, инженеров и владельцев ИИ-проектов. Программу подготовили практикующие эксперты Positive Technologies на основе задач из реальных проектов.

RSS: Новости на портале Anti-Malware.ru