В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

Исследователь Permiso Анди Ахмети обнаружил неприятный сценарий атаки на ChatGPT: если попросить чат-бота пересказать веб-страницу со скрытыми инструкциями, он может не отличить нормальный контент от вредной подсказки и вывести фишинговую ссылку прямо в ответе.

Проблему Ахмети назвал ChatGPhish. Суть в классической инъекции промпта, только с более наглядным эффектом: страница выглядит обычной, пользователь просит ChatGPT её кратко пересказать, а внутри уже спрятана инструкция для модели — например, добавить в ответ фальшивое предупреждение о безопасности.

В демонстрации исследователь встроил такие инструкции в страницу CloudLens на GitHub. ChatGPT действительно пересказал содержимое страницы, но затем добавил блок в духе системного уведомления: мол, к аккаунту подключили новое устройство. Рядом ссылка «Click here», которая внешне выглядит как часть ответа ChatGPT, но ведёт на домен злоумышленника.

То есть пользователь видит не просто подозрительный баннер где-то на сайте, а сообщение, оформленное в привычном стиле ChatGPT. И вот это уже особенно неприятно: доверие переносится с сервиса на вредную ссылку почти автоматически.

Ахмети показал и более хитрый вариант с QR-кодом. Поскольку клиент ChatGPT может отображать Markdown-картинки, атакующий способен заставить модель вывести QR-код в ответе. Пользователь сканирует его телефоном и попадает на сайт злоумышленника, при этом сам URL вообще не отображается в тексте.

По словам исследователя, такой сценарий позволяет обойти часть защит на рабочем компьютере: блокировки URL, проверки доменов менеджерами паролей и другие десктопные механизмы. Атака просто переезжает с браузера на смартфон жертвы.

Ахмети сообщил об уязвимости OpenAI через Bugcrowd ещё в конце апреля. Первую заявку отметили как невоспроизводимую, повторную — как дубликат. При этом исследователь говорит, что не получил подтверждения, была ли проблема исправлена.