ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

ГК Солар запатентовала технологию выявления ботов на уровне HTTPS

ГК «Солар» получила патент на технологию, которая помогает автоматически отличать опасные бот-запросы от действий реальных пользователей ещё на этапе подключения к веб-серверу. Патент был выдан Роспатентом 27 ноября 2025 года. Речь идёт о механизме анализа HTTPS-соединений, который оценивает вероятность того, что запрос был отправлен ботом.

В основе разработки — математическая модель, обученная на статистике поведения легитимных пользователей и автоматических скриптов. Если система считает запрос подозрительным, пользователю предлагается пройти дополнительную проверку. Если нет — соединение устанавливается без задержек.

Подход позволяет отсеивать нежелательную активность до загрузки страницы, не перегружая сайт и не мешая реальным посетителям. Это особенно актуально для интернет-магазинов и других онлайн-ресурсов малого и среднего бизнеса, где даже кратковременные сбои могут напрямую отражаться на выручке.

По оценке разработчиков, технология помогает бороться сразу с несколькими распространёнными проблемами. Среди них — автоматизированный сбор данных, когда боты массово выгружают информацию о товарах и ценах, искажают аналитику и создают почву для мошенничества. Также система позволяет выявлять накрутку кликов и просмотров, автоматические переборы логинов и паролей, разведку перед атаками и попытки перегрузить сайт бот-DDoS-трафиком.

Как поясняют в «Соларе», ключевая идея заключалась в том, чтобы анализировать не содержимое запроса, а его технические параметры, характерные именно для автоматических инструментов. Такой подход остаётся эффективным даже в условиях, когда боты всё лучше маскируются под поведение обычных пользователей.

По словам директора продукта Solar Space Артёма Избаенкова, сегодня на ботов приходится уже более половины мирового интернет-трафика, и значительная часть этой активности связана с вредоносными сценариями. Использование нейросетевой модели позволяет снизить влияние человеческого фактора и повысить точность фильтрации.

Руководитель направления развития облачных технологий ГК «Солар» Дмитрий Лукин отмечает, что разработка выросла из практических задач защиты заказчиков. Основной целью было научиться отсеивать замаскированных ботов на самом раннем этапе, ещё до обработки запроса веб-приложением. После тестирования и доработки модель легла в основу патентованного решения.

В компании добавляют, что технология уже применяется в линейке решений Solar Space — как в облачном формате, так и в развёртываниях on-premise.

RSS: Новости на портале Anti-Malware.ru