ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Банки с 1 июля начнут передавать ИНН при переводах через СБП

С 1 июля 2026 года в России при переводах и платежах через Систему быстрых платежей станет обязательным указание ИНН. Об этом на форуме «Антифродум» рассказал руководитель направления СБП Центра противодействия мошенничеству НСПК Никита Юрков.

Речь идёт не только о переводах между физлицами. Новое правило затронет и операции между физлицами и юрлицами.

При этом самим клиентам ничего дополнительно заполнять не придётся: передавать ИНН через инфраструктуру НСПК будут банки — разумеется, если эти данные у них есть.

Нововведение объясняют борьбой с дропами и мошенническими схемами. По словам Никиты Юркова, злоумышленник может сравнительно легко сменить номер телефона, перевыпустить карту, открыть новый счёт или даже переоформить паспорт. А вот ИНН — реквизит куда более устойчивый, заменить его физлицу значительно сложнее.

В НСПК считают, что именно это сделает ИНН удобным инструментом для отслеживания подозрительных операций. Такой идентификатор позволит быстрее выявлять риски и осложнит использование подставных счетов в схемах вывода и обналичивания денег.

Как отметил Юрков, ИНН станет универсальным идентификатором, который поможет эффективнее проверять риски как в СБП, так и в платёжной системе «Мир». Это, по его словам, даст возможность развивать антифрод-инструменты и усложнять мошенникам обход уже действующих ограничений.

В пресс-службе НСПК уточнили, что обязанность по обмену ИНН клиентов ляжет именно на банки. Они будут передавать эти сведения через инфраструктуру НСПК в обязательном порядке.

Напомним, ранее россиянам предложили ограничить количество банковских карт — не более 20 штук на человека, из них максимум пять в одном банке.

RSS: Новости на портале Anti-Malware.ru