ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

Банки и корпорации чаще строят ИБ-решения сами, а не покупают у вендоров

Российские компании и банки, особенно крупные, всё чаще разрабатывают решения в области информационной безопасности собственными силами. Основной причиной такого подхода становится недовольство продуктами с открытого рынка: ряд участников прямо заявляет, что не готов приобретать сторонние решения из-за их несоответствия внутренним требованиям.

Эта тенденция явно проявилась на форуме «Территория безопасности», организованном группой ComNews.

Так, вице-президент «Т-Банка» Дмитрий Гадарь рассказал об опыте разработки SIEM-системы силами ИТ-департамента. Специалисты по ИБ подключились позже — уже на этапе создания правил корреляции и других функциональных модулей.

По словам Гадаря, около 90% пользователей системы составляют ИТ-специалисты: «Мы переводим в SIEM процессы управления инцидентами по данным, внутренний фрод, а также систему, предотвращающую попадание фродерских мобильных устройств в продукты. Это уже сервис для бизнеса, а не только для информационной безопасности. Для нас SIEM — гибкий инструмент».

Директор по информационной безопасности «Райффайзен Банка» Георгий Руденко среди причин перехода к собственной разработке назвал экономику и функциональность. В ряде случаев создание решений внутри компании обходится дешевле, чем покупка. Кроме того, критически важные функции в коммерческих продуктах иногда приходится ждать годами. В качестве примера он привёл внутреннюю платформу управления уязвимостями.

«ИБ-продукты — это ключевой инструмент защиты интеллектуальной собственности и ноу-хау, обеспечивающих конкурентные преимущества. Чем выше уровень защищённости бизнеса, тем выше его прибыль и привлекательность для инвесторов», — отметил директор дирекции по экономической безопасности «Диайпи», советник заместителя генерального директора по безопасности — начальника СЭБ «Трубной металлургической компании» (ТМК) Александр Савостьянов.

О собственных разработках и внедрении ИБ-инструментов также рассказали представители VK и Wildberries&Russ. В их числе — решения классов SIEM и ASPM.

Даже относительно небольшие компании идут по этому пути. Например, в HeadHunter, по словам директора по информационным технологиям и кибербезопасности Татьяны Фомичёвой, используются собственные инструменты защиты контейнерной инфраструктуры, хотя в целом компания по-прежнему опирается на тиражные решения.

При этом объём разработок, выполненных внутренними командами крупных компаний, по итогам 2025 года лишь незначительно уступил выручке независимых вендоров. Как отмечает президент ассоциации «Руссофт» Валентин Макаров, кэптивные разработчики уже создают серьёзную конкуренцию рынку — и эта конкуренция не всегда идёт ему на пользу.

RSS: Новости на портале Anti-Malware.ru