ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Опрос: половина россиян игнорирует риски утечек с фитнес-устройств

Каждый второй пользователь фитнес-браслетов, умных весов и других устройств для мониторинга здоровья опасается, что его данные могут оказаться у злоумышленников. К такому выводу пришли аналитики «Лаборатории Касперского» по итогам опроса.

В целом о безопасности информации переживают 65% россиян, которые пользуются спортивными гаджетами. При этом 47% прямо признаются: они боятся, что собранные устройствами данные могут попасть в чужие руки.

Больше всего пользователей волнуют личные сведения: ФИО, возраст, дата рождения (об этом сказали 74% опрошенных). Почти половина переживает за данные об устройстве (48%) и геолокации (43%). А каждый пятый опасается утечки информации о состоянии здоровья, которую собирают приложения и умные девайсы.

Главный страх — данные используют мошенники. 61% респондентов боятся, что злоумышленники получат доступ к другим важным аккаунтам. По 52% опасаются навязчивых звонков или попыток обмануть их родственников. 42% упоминают риск фишинга. Есть и более личные опасения: 22% не исключают шантажа, а 10% переживают, что кто-то из знакомых узнает подробности о здоровье, которыми они не готовы делиться.

При этом почти половина пользователей (45%) всё же предпринимают шаги для защиты. Например, 49% внимательно следят за тем, какие данные собирают приложения, и разрешают доступ только к необходимой информации. 63% запрещают передачу своих данных сторонним программам.

Около половины используют двухфакторную аутентификацию (51%), регулярно обновляют программное обеспечение и устанавливают защитные решения (по 45%). Треть обращает внимание на репутацию производителя или разработчика приложения перед установкой.

Как отмечает эксперт по кибербезопасности «Лаборатории Касперского» Андрей Сиденко, умные гаджеты, такие же цифровые устройства, как и смартфоны или ноутбуки, а значит, подвержены тем же рискам. Он рекомендует не делиться лишней конфиденциальной информацией, выдавать приложениям только необходимые разрешения и, по возможности, не публиковать автоматически данные о тренировках и маршрутах. Это поможет снизить вероятность того, что личная информация станет инструментом в руках мошенников.

Напомним, не так давно специалисты выяснили, что ряд фитнес-приложений вроде Strava сливает конфиденциальные данные пользователей даже в том случае, когда те настроили специальные «приватные зоны».

Показателен также случай, когда фитнес-приложение Fitify слило 138 тысяч фото юзеров в неглиже.

RSS: Новости на портале Anti-Malware.ru