ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Сотрудники против: 52% компаний буксуют с переходом на тонкие клиенты

Переход на тонкие клиенты в российских компаниях чаще всего тормозит вовсе не техника, а люди. По данным опроса среди зрителей и участников эфира AM Live «Тонкий клиент: инструмент создания цифровых корпоративных рабочих мест», 52% компаний не могут полноценно перейти на такую модель из-за сопротивления сотрудников, привыкших к обычным компьютерам.

На этом фоне особенно показательно выглядит другая цифра: только 25% компаний уже используют удалённые рабочие места через десктопы или тонкие клиенты.

Иначе говоря, три четверти по-прежнему опираются либо на офисные компьютеры, либо на добросовестность сотрудников, которые работают с собственных устройств. А это, как отмечали участники дискуссии, оставляет бизнес в довольно уязвимом положении: данные и учётные записи оказываются размазаны по множеству конечных точек, и каждая из них потенциально может стать входом в корпоративную сеть.

Идея тонких клиентов как раз в обратном: рабочее место у сотрудника есть, но сами данные и основные процессы остаются внутри защищённой инфраструктуры компании. Директор департамента управления продуктовым портфелем Getmobit Василий Шубин по этому поводу высказался довольно жёстко: когда сотрудникам разрешают работать с личных устройств, компания фактически перекладывает риск на конечного пользователя.

Впрочем, дело не только в привычках. Второй по популярности барьер — поддержка периферии, на неё пожаловались 46% опрошенных. Дальше причины идут уже с заметным отрывом: 32% считают проблемой высокую стоимость внедрения, 28% говорят о несовместимости приложений, 26% — о нехватке экспертизы у ИТ-команд, ещё 22% упомянули ограничения сети и каналов связи.

Некоторых экспертов такой высокий результат у пункта с периферией удивил, но в «Лаборатории Касперского» ничего необычного в этом не увидели. Старший менеджер по продукту Kaspersky Thin Client Михаил Левинский объяснил, что вопрос здесь упирается не только в сами устройства, но и в зрелость поддержки: у кого-то может быть старый монитор или нестандартная периферия, и важно, насколько быстро вендор готов на такие запросы реагировать. При этом, по его словам, сами операционные системы, конечно, должны нормально поддерживать проброс периферийных устройств.

Похожую мысль озвучили и в Uveon — Облачные технологии. Там обратили внимание, что часть проблем, которые пользователи приписывают именно тонким клиентам, на деле относится шире — к тому, как в компании вообще выстроена инфраструктура рабочих мест. Иными словами, не всё здесь упирается в «железку»: многое решается на уровне софта и архитектуры.

При этом в обсуждении прозвучала и осторожно позитивная нота. Генеральный директор «АМ Медиа» Илья Шабанов заметил, что заметно сократилась доля тех, кто считает главным препятствием именно стоимость внедрения. Это может говорить о том, что рынок таких решений в России постепенно взрослеет, а сами технологии перестают восприниматься как что-то слишком дорогое и экзотическое.

RSS: Новости на портале Anti-Malware.ru