ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Компании делают ставку на обучение кибербезопасности: рост спроса на 20%

Компания «Инфосистемы Джет» проанализировала запросы более 270 крупных компаний и выяснила: интерес к корпоративному обучению в области кибербезопасности не просто сохраняется, а растёт. За первое полугодие 2025 года число запросов на программы по повышению осведомлённости сотрудников увеличилось на 20%, а интерес к киберучениям остался на стабильно высоком уровне.

Если раньше компании заказывали в основном «точечные» курсы для ИБ-специалистов, то теперь приоритет смещается к массовому обучению всего штата.

В 2022 году программы по киберграмотности составляли лишь 15% запросов, в 2024-м — уже 37%, а в первой половине 2025-го доля выросла до 58% и продолжает увеличиваться.

Эксперты связывают этот рост с рядом факторов:

  • увеличением числа инцидентов из-за человеческого фактора — фишинга, ошибок и социальной инженерии;
  • и новыми нормативными требованиями, включая приказ ФСТЭК № 117, вступивший в силу в апреле 2025 года.

Топ-менеджеры всё чаще понимают, что кибербезопасность — это не только технологии, но и часть корпоративной культуры. Каждый сотрудник должен осознавать личную ответственность за защиту данных.

Если раньше обучение проходило «для галочки», теперь компании ищут действительно эффективные форматы. Растёт интерес к очным занятиям — живое общение и обсуждение помогают вовлечь людей лучше, чем просто онлайн-курс. Обучение становится массовым и персонализированным: внимание уделяется всем сотрудникам, а не только тем, кто работает с чувствительными данными.

«Сегодня обучение кибербезопасности — это уже не формальность, а необходимая мера. Компании вынуждены подходить к нему системно, разделяя программы по уровням — от базовой кибергигиены до комплексных курсов для ИБ-команд. Особенно ценится контент, основанный на реальных инцидентах и адаптированный под конкретные защитные средства компании», — отмечает Кира Шиянова, менеджер продукта платформы Jet CyberCamp компании «Инфосистемы Джет».

На рынке формируется чёткое разделение:

  • зрелые компании проводят киберучения и развивают awareness-программы своими силами;
  • организации поменьше чаще обращаются к внешним подрядчикам или используют готовые решения.

При этом заказчики всё чаще требуют доказуемой эффективности обучения — не просто отчётов, а реальных метрик, показывающих снижение рисков. Это подталкивает рынок к росту аутсорсинговых сервисов и комплексных решений, где обучение становится частью общей стратегии кибербезопасности.

Напомним, вчера мы сообщали, что рынок корпоративного ИБ-образования в России вырос до 3 млрд рублей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru