ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

ИИ-помощника ChatGPT вынудили сливать беседы, внушив ложные воспоминания

Специалист по пентесту Йоханн Рехбергер (Johann Rehberger) нашел в ChatGPT уязвимость, позволяющую через инъекцию в память воровать данные в ходе обмена с пользователем. Разработчики ИИ-ассистента создали патч, но он оказался неполным.

Примечательно, что вначале OpenAI отказалась считать находку угрозой безопасности, и только создание PoC-эксплойта заставило ее принять меры для исправления ситуации.

Разработанная экспертом атака предполагает взлом долговременной памяти ChatGPT по методу непрямой инъекции подсказки-стимула (indirect prompt injection, IPI). Возможность дефолтного хранения данных о собеседнике (пол, возраст, философские воззрения и т. д.) ИИ-бот обрел в начале этого года, и ее теперь не надо каждый раз вводить для уточнения контекста.

Новая функциональность, как это часто бывает, создала дополнительные риски. Рехбергер обнаружил, что ChatGPT можно внушить ложные воспоминания — заставить запомнить неверную информацию и следовать инструкциям, вставив вредоносный стимул в письмо, блог-запись или документ.

Контент, специально созданный для проведения вредоносной инъекции, можно разместить на Google Drive или Microsoft OneDrive. Можно также с этой целью вбросить его в поисковую выдачу Bing либо загрузить в виде картинки на файлообменник. Намеченной жертве останется лишь попросить ChatGPT пройти по ссылке.

Так, в ходе экспериментов ИИ-ассистента для macOS удалось убедить, что его собеседнику 102 года, он живет в матрице и верит, что Земля плоская. Запомнив эти вводные, тот начал сливать пользовательский ввод и свой вывод на сервер Рехбергера.

Через веб-интерфейс ChatGPT провести подобную атаку, по словам эксперта, невозможно — благодаря API, который OpenAI развернула в прошлом году. Внесенное разработчиком исправление предотвращает использование памяти в качестве вектора для эксфильтрации данных, однако угроза внедрения ложных воспоминаний через IPI все еще актуальна.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Fantasy Hub: в Telegram продают Android-троян по подписке для россиян

Исследователи из Zimperium zLabs сообщили о появлении нового продвинутого Android-трояна Fantasy Hub, который активно распространяется через каналы в Telegram по схеме Malware-as-a-Service — «вредонос по подписке». Этот инструмент открывает злоумышленникам доступ к смартфонам обычных пользователей и сотрудников банков.

Fantasy Hub — не просто очередной троян, а целая платформа. Разработчики предлагают покупателям выбрать иконку, название и интерфейс поддельного приложения, а телеграм-бот автоматически собирает APK с уже встроенным вредоносом.

Подписчики могут оплачивать разные тарифы: чем выше уровень — тем больше функций, включая доступ к панели управления, сбор данных и дистанционное управление устройствами.

 

Сервис снабжён документацией, видеоинструкциями и даже «службой поддержки». Вдобавок злоумышленникам объясняют, как подделывать страницы Google Play, обходить защиту Android и публиковать фальшивые отзывы, чтобы придать приложению видимость легальности.

Этот троян способен:

  • красть СМС, контакты, фотографии, видео и журналы звонков;
  • перехватывать и подменять уведомления;
  • получать полный контроль над устройством через роль СМС-обработчика (даёт доступ к камере, файлам и контактам без дополнительных разрешений);
  • вести аудио- и видеострим в реальном времени с заражённого телефона через WebRTC.

 

Fantasy Hub маскируется под системное обновление Google Play, включает проверку на root и песочницу, чтобы не попасть в руки аналитиков. При запуске троян показывает краткое сообщение «Live stream active», чтобы устройство не перешло в спящий режим, а затем тихо отключает микрофон и камеру.

Исследователи отмечают, что киберпреступники, использующие Fantasy Hub, прицельно атакуют финансовые организации — среди целей названы Альфа-Банк, ПСБ, Т-Банк и Сбер.

Для каждой жертвы создаются фишинговые окна, копирующие интерфейсы мобильных банков. Пользователь вводит логин, ПИН-код или данные карты — и вся информация тут же уходит на сервер злоумышленников.

Fantasy Hub показывает, насколько далеко зашла коммерциализация киберпреступности:

«Теперь запустить масштабную атаку на Android можно буквально в пару кликов — достаточно купить подписку в Telegram», — отмечают эксперты Zimperium.

Эта тенденция особенно тревожна для компаний, где сотрудники используют личные смартфоны для работы. Эксперты призывают бизнес активнее внедрять решения класса Mobile Threat Defense и ограничивать доступ корпоративных данных с незащищённых устройств.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru