ChatGPT может впасть в ступор от просьбы назвать публичную персону

ChatGPT может впасть в ступор от просьбы назвать публичную персону

ChatGPT может впасть в ступор от просьбы назвать публичную персону

Пользователи платформы ChatGPT заметили странную особенность: ИИ-собеседник иногда отвечает отказом на просьбу подсказать правописание имен и рассказать об их носителях. Как выяснилось, эти люди когда-то пеняли OpenAI на неверные, порочащие их данные.

Так, умный чат-бот упорно не желал давать искомый ответ на ввод «David Mayer». Узнав об этом, завсегдатаи Reddit стали придумывать всякие уловки, чтобы добиться иной реакции, однако все попытки оказались безуспешными.

 

Ситуация стала проясняться, когда репортер TechCrunch отыскал в интернете информацию о загадочном Дэвиде Мейере.

Профессор с таким именем долгое время преподавал театроведение в Великобритании и США. В интернет-источниках его постоянно путали с террористом, избравшим ровно такой псевдоним, и мэтр потратил много усилий, чтобы избавиться от ассоциации, из-за которой он стал невыездным.

Тем временем пытливые пользователи обнаружили и другие похожие табу для ChatGPT. ИИ-сервис отказывался воспроизвести имена Brian Hood, Jonathan Turley, Jonathan Zittrain, David Faber, Guido Scorza.

Как оказалось, это тоже более-менее известные личности. Брайан Худ, например, работает в администрации графства Хепберн (штат Виктория, Австралия) и в прошлом году пригрозил OpenAI судом из-за ложного утверждения, что он якобы сидел за взяточничество.

Дэвид Фабер с 1993 года трудится на телеканале CNBC. Правоведа Джонатана Терли ChatGPT в прошлом году по ошибке (вместо тезки) внес в список юристов, уличенных в сексуальных домогательствах.

Юрист Джонатан Зиттрейн некогда активно пропагандировал право на забвение (в связи с наличием персональных данных в поисковой выдаче Google). Гвидо Скорца входит в состав итальянского Комитета по защите персональных данных, который в прошлом году пытался заблокировать в стране доступ к ChatGPT из-за проблем с конфиденциальностью.

Похоже, из-за официально высказанного недовольства и претензий на ИИ-сервисе скорректировали фильтры либо создали какие-то правила в отношении этих имен, и чат-бот OpenAI теперь реагирует на них так же, как на внесение имени в списки кандидатов от политических партий.

ИИ-браузеры обманули игрой и заставили сливать логины пользователей

Оказывается, современный ИИ можно взломать не только сложным промптом, но и головоломкой. Исследователи из компании LayerX представили технику BioShocking, которая заставляет ИИ-браузеры добровольно воровать данные пользователя. Под удар попали сразу несколько популярных решений, включая ChatGPT Atlas, Perplexity Comet и браузерное расширение Claude от Anthropic.

Суть атаки строится вокруг так называемой косвенной инъекции в промпт. Пользователю достаточно открыть специально подготовленную веб-страницу.

Для человека это обычная игра с абсурдными правилами вроде «2 + 2 = 5». А вот ИИ воспринимает встроенные в страницу инструкции как часть задания и постепенно начинает следовать логике злоумышленника.

Финал игры выглядит так: агенту предлагают получить учётные данные пользователя и передать их атакующему. Во время эксперимента ни один из шести протестированных ИИ не распознал это как опасное действие.

 

В демонстрации LayerX агент самостоятельно открыл рабочий репозиторий GitHub пользователя, получил учётные данные SSH и отправил их злоумышленнику. Исследователи использовали безвредный текстовый файл, однако отмечают, что аналогичным способом можно добраться до открытых вкладок браузера, корпоративных сервисов, внутренних инструментов и других ресурсов.

Самое опасное здесь не сама головоломка, а возможности ИИ в режиме агента. Такие браузеры умеют нажимать кнопки, переходить по ссылкам, читать содержимое сайтов и выполнять действия от имени пользователя. Если агент уже имеет доступ к аккаунтам, вредоносная страница может превратить его в помощника злоумышленника.

 

По данным LayerX, реакция разработчиков оказалась неодинаковой. OpenAI устранила проблему в ChatGPT Atlas. Perplexity, как утверждают исследователи, закрыла отчёт без патча. Anthropic выпустила обновление для расширения Claude, но, по мнению LayerX, оно не решило проблему полностью.

Эксперты считают, что ИИ-браузеры должны запрашивать явное разрешение перед доступом к данным из сервисов. А пользователям советуют не держать агентный режим включённым без необходимости.

RSS: Новости на портале Anti-Malware.ru