ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Уязвимость в ZenCount не устраняют почти полгода

В базе данных угроз (БДУ) ФСТЭК появилась запись о критической уязвимости в российском видеосчётчике посетителей ZenCount. Проблема может привести к удалённому получению полного доступа к системе. По состоянию на момент публикации подтверждения её устранения не было уже более 160 дней с момента обнаружения.

Как сообщил ТАСС руководитель ИБ-компании CyberOK Сергей Гордейчик, уязвимость в ZenCount обнаружил сотрудник компании Роберт Торосян в октябре 2025 года. Уже в следующем месяце информация о ней была внесена в БДУ ФСТЭК.

«По сути проблемы в карточке указан неправильный контроль доступа. Это ситуация, когда продукт не ограничивает или некорректно ограничивает доступ к ресурсу со стороны неавторизованного субъекта. Для таких ошибок последствия часто выходят далеко за рамки „частной недоработки“: они могут означать доступ к данным, изменение данных или вмешательство в работу системы», — пояснил Сергей Гордейчик характер выявленной уязвимости.

Эта уязвимость получила очень высокий уровень опасности: минимальная оценка составляет 9,8 из 10 возможных. По данным на 26 марта, как уточнил глава CyberOK, сведений об её устранении не появилось даже спустя 163 дня после обнаружения.

При этом Сергей Гордейчик не исключил, что вендор может вести непубличную работу по исправлению проблемы. Однако со стороны складывается впечатление, что производитель её игнорирует, а для критической сетевой уязвимости, которая сравнительно легко эксплуатируется по базовой модели, это выглядит плохим сигналом. В то же время он отдельно отметил, что простота эксплуатации ещё не означает массового использования этой уязвимости в реальных атаках.

Как выяснил ТАСС, в России и за её пределами развернуто более 5 тыс. устройств ZenCount. Такие решения используют различные розничные сети одежды, а также «Детский мир», МТС и «МегаФон» в своих торговых точках.

«Не стоит сводить разговор к одному конкретному разработчику. Проблема шире. Системы видеонаблюдения и видеоаналитики, доступные извне без должной защиты или с тривиальными уязвимостями, к сожалению, действительно встречаются в Рунете. И речь может идти о совершенно разных классах решений: от домовых систем и домашних камер до более серьёзных платформ видеоаналитики», — предупредил Сергей Гордейчик.

Как ранее показало исследование компании «Кибериспытание», 60% из обследованных 74 организаций можно взломать менее чем за сутки, причём в 60% случаев такая атака могла бы полностью парализовать их бизнес.

RSS: Новости на портале Anti-Malware.ru