ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Интимные записи с умных очков Meta попадают на проверку модераторам в Кении

Пользователи умных очков Meta (корпорация признана экстремистской и запрещена в России) в Европе могут даже не догадываться, что их видео (в том числе весьма личного характера) просматривают модераторы за пределами ЕС. Речь идёт об очках Ray-Ban Meta и других моделях с ИИ-функциями.

Об этом сообщает шведское издание Svenska Dagbladet. Устройства позволяют записывать видео «от первого лица» и задавать вопросы ассистенту Meta AI. Но чтобы пользоваться ИИ, пользователь должен согласиться с условиями сервиса, а они допускают проверку собранных данных людьми.

По данным журналистов, часть такой «разметки» данных выполняют сотрудники в Кении. Работники, занимающиеся аннотацией контента для обучения ИИ, рассказали, что видели в материалах пользователей обнажённых людей, сцены интимного характера, а также кадры из ванных комнат и туалетов. Кроме того, в записях встречались номера банковских карт и другая финансовая информация.

Meta использует такие проверки для обучения своих языковых и визуальных моделей: людям нужно вручную помечать изображения и видео, чтобы ИИ лучше понимал контекст.

Однако подобная практика может вызывать вопросы с точки зрения европейского законодательства о защите данных (GDPR), которое требует прозрачности в обработке персональной информации.

Как отмечает издание, разобраться в том, как именно обрабатываются данные с носимых устройств, оказалось не так просто, журналистам пришлось специально искать соответствующую политику конфиденциальности.

В ней говорится, что контент может проверяться как автоматическими системами, так и людьми. При этом пользователям рекомендуют самим не делиться конфиденциальной информацией.

Meta напрямую комментировать публикацию не стала, ограничившись заявлением, что при использовании функций Live AI данные обрабатываются в соответствии с условиями сервиса и политикой конфиденциальности.

История в очередной раз поднимает вопрос: где проходит граница между удобством ИИ-функций и приватностью. Особенно когда камера и ассистент буквально находятся у пользователя на лице.

RSS: Новости на портале Anti-Malware.ru