В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

Исследователь Permiso Анди Ахмети обнаружил неприятный сценарий атаки на ChatGPT: если попросить чат-бота пересказать веб-страницу со скрытыми инструкциями, он может не отличить нормальный контент от вредной подсказки и вывести фишинговую ссылку прямо в ответе.

Проблему Ахмети назвал ChatGPhish. Суть в классической инъекции промпта, только с более наглядным эффектом: страница выглядит обычной, пользователь просит ChatGPT её кратко пересказать, а внутри уже спрятана инструкция для модели — например, добавить в ответ фальшивое предупреждение о безопасности.

В демонстрации исследователь встроил такие инструкции в страницу CloudLens на GitHub. ChatGPT действительно пересказал содержимое страницы, но затем добавил блок в духе системного уведомления: мол, к аккаунту подключили новое устройство. Рядом ссылка «Click here», которая внешне выглядит как часть ответа ChatGPT, но ведёт на домен злоумышленника.

 

То есть пользователь видит не просто подозрительный баннер где-то на сайте, а сообщение, оформленное в привычном стиле ChatGPT. И вот это уже особенно неприятно: доверие переносится с сервиса на вредную ссылку почти автоматически.

Ахмети показал и более хитрый вариант с QR-кодом. Поскольку клиент ChatGPT может отображать Markdown-картинки, атакующий способен заставить модель вывести QR-код в ответе. Пользователь сканирует его телефоном и попадает на сайт злоумышленника, при этом сам URL вообще не отображается в тексте.

 

По словам исследователя, такой сценарий позволяет обойти часть защит на рабочем компьютере: блокировки URL, проверки доменов менеджерами паролей и другие десктопные механизмы. Атака просто переезжает с браузера на смартфон жертвы.

Ахмети сообщил об уязвимости OpenAI через Bugcrowd ещё в конце апреля. Первую заявку отметили как невоспроизводимую, повторную — как дубликат. При этом исследователь говорит, что не получил подтверждения, была ли проблема исправлена.

Подпишитесь на новости

68% инцидентов без аналитика: что обещает ИИ в MaxPatrol O2

Очередь инцидентов растёт, а дополнительных аналитиков из воздуха не выдают. Positive Technologies предлагает разгрузить SOC с помощью каскада ИИ-моделей MaxPatrol O2. По данным компании, система автоматически закрывает 68% инцидентов, тратя на каждый около 15-20 секунд. По оставшимся аналитик получает вердикт с объяснением менее чем за 15 минут.

Работа разделена на два этапа. Сначала ML-модели оценивают инциденты и закрывают ложные срабатывания.

Подозрительные случаи передаются ИИ-агенту: он строит гипотезу, проверяет её по событиям из разных источников и готовит отчёт. Получается распределение обязанностей, похожее на работу первой и второй линий SOC.

В отчёте приводятся собранные события и похожие инциденты с вердиктами. Каждый факт можно проследить до исходного события. Степень самостоятельности системы настраивается: например, автоматическое закрытие можно разрешить только для отдельных классов инцидентов.

Разработчик также заявляет о совпадении вердиктов MaxPatrol O2 с вердиктами облачного сервиса PT X, сверенными с решениями аналитиков, более чем в 98% случаев.

В планах компании сократить долю инцидентов, требующих ручной работы, до 10%. Продукт доступен в облачной версии и для развёртывания в инфраструктуре заказчика.

Аналитиков из SOC пока не вычёркивают. Им обещают убрать значительную часть рутины, чтобы до подозрительной активности руки доходили раньше, чем до отчёта о пропущенной атаке.

RSS: Новости на портале Anti-Malware.ru