В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

В ChatGPT нашли уязвимость, позволяющую подсовывать вредоносные ссылки

Исследователь Permiso Анди Ахмети обнаружил неприятный сценарий атаки на ChatGPT: если попросить чат-бота пересказать веб-страницу со скрытыми инструкциями, он может не отличить нормальный контент от вредной подсказки и вывести фишинговую ссылку прямо в ответе.

Проблему Ахмети назвал ChatGPhish. Суть в классической инъекции промпта, только с более наглядным эффектом: страница выглядит обычной, пользователь просит ChatGPT её кратко пересказать, а внутри уже спрятана инструкция для модели — например, добавить в ответ фальшивое предупреждение о безопасности.

В демонстрации исследователь встроил такие инструкции в страницу CloudLens на GitHub. ChatGPT действительно пересказал содержимое страницы, но затем добавил блок в духе системного уведомления: мол, к аккаунту подключили новое устройство. Рядом ссылка «Click here», которая внешне выглядит как часть ответа ChatGPT, но ведёт на домен злоумышленника.

 

То есть пользователь видит не просто подозрительный баннер где-то на сайте, а сообщение, оформленное в привычном стиле ChatGPT. И вот это уже особенно неприятно: доверие переносится с сервиса на вредную ссылку почти автоматически.

Ахмети показал и более хитрый вариант с QR-кодом. Поскольку клиент ChatGPT может отображать Markdown-картинки, атакующий способен заставить модель вывести QR-код в ответе. Пользователь сканирует его телефоном и попадает на сайт злоумышленника, при этом сам URL вообще не отображается в тексте.

 

По словам исследователя, такой сценарий позволяет обойти часть защит на рабочем компьютере: блокировки URL, проверки доменов менеджерами паролей и другие десктопные механизмы. Атака просто переезжает с браузера на смартфон жертвы.

Ахмети сообщил об уязвимости OpenAI через Bugcrowd ещё в конце апреля. Первую заявку отметили как невоспроизводимую, повторную — как дубликат. При этом исследователь говорит, что не получил подтверждения, была ли проблема исправлена.

Подпишитесь на новости

Минцифры готовит поддержку российских ИИ-проектов на 10 млрд рублей в год

Российским разработчикам ИИ готовят финансовую подпитку: Минцифры обсуждает пакет господдержки объёмом до 10 млрд рублей ежегодно. Деньги могут помочь с разработкой нейросетей, запуском пилотов и оплатой вычислений. Но бежать за субсидиями пока рано, условия ещё прорабатываются.

По данным «Коммерсанта», 8 млрд рублей предполагается направлять на разработку и внедрение технологий, ещё 2 млрд — на компенсацию затрат на вычислительные мощности.

Один из механизмов — субсидированные кредиты через уполномоченные банки. Российские компании смогут потратить заёмные средства на инфраструктуру, сбор и разметку датасетов, а также дообучение нейросетей.

Другой инструмент — гранты на пилотное тестирование решений, ранее не имевших аналогов. Их планируют применять в приоритетных отраслях экономики, социальной сфере и госуправлении. Грант может покрывать до 80% стоимости проекта, а оператором отбора может стать РФРИТ.

Минцифры и аппарат вице-премьера Дмитрия Григоренко подтвердили обсуждение инициативы. Конкретные параметры и сроки запуска программ пока не определены.

Для небольших стартапов такая помощь может стать шансом довести продукт до пилота, считает руководитель ИИ-проектов Т1 Сергей Голицын. Однако участники рынка ждут прозрачных критериев отбора и понятной отчётности. Иначе между бюджетом и разработчиками рискуют появиться посредники, а независимым командам будет сложнее конкурировать с корпорациями.

Размер поддержки звучит внушительно. Теперь вопрос в правилах: кто сможет получить деньги и сколько сил придётся потратить на заявку вместо самой разработки.

RSS: Новости на портале Anti-Malware.ru