ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ИИ YouTube снова блокирует взрослых, решив, что им нет 18 лет

YouTube разворачивает вторую волну ограничений по возрасту, вызвав бурю негодования среди пользователей. Напомним, летом платформа запустила в США систему определения возраста на базе ИИ. Сначала она работала относительно спокойно, но к сентябрю начала массово отмечать пользователей как несовершеннолетних.

Казалось бы, благородная цель — защитить детей от «взрослого контента». Но вот беда — система ошибается и блокирует взрослых пользователей, решив, что им нет 18.

Тем, кто «проскочил» первую волну, расслабляться рано. По сообщениям пользователей на площадке Reddit, новая волна фильтрации идёт полным ходом.

«Мы изменили некоторые ваши настройки. Не смогли подтвердить, что вы взрослый», — такое уведомление теперь встречают тысячи пользователей.

Чтобы вернуть доступ ко всем видео, YouTube предлагает подтвердить возраст документом, либо согласиться на ограниченный режим — без части контента, без персонализированной рекламы и с навязчивыми советами про цифровое благополучие.

 

Историй об ошибках — масса. Один пользователь написал:

«Мне 18, но YouTube думает, что я ребёнок, потому что аккаунт создали родители после моего рождения!»

Другой добавил:

«Сегодня мой канал пометили как “до 18”, хотя мне 21, и я вообще не заходил туда с марта».

Выбор у «заблокированных» невелик:

  • смириться с ограничениями;
  • отправить свои паспортные данные YouTube;
  • завести новый аккаунт и начать всё заново.

Помимо урезанного доступа к видео, YouTube автоматически включает «детские» настройки:

  • только деперсонализированная реклама,
  • активированные по умолчанию инструменты цифрового благополучия,
  • постоянные напоминания о конфиденциальности,
  • минимизация рекомендаций контента, который может «влиять на восприятие».

Пока пользователи спорят, оправданны ли такие меры, очевидно одно: YouTube пытается быть ответственным родителем, но ИИ пока слишком подозрителен.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru