8,5% подсказок ИИ сливают ключи доступа и финансовые данные компаний

8,5% подсказок ИИ сливают ключи доступа и финансовые данные компаний

8,5% подсказок ИИ сливают ключи доступа и финансовые данные компаний

Проведенное в Harmonic Security исследование показало, что при вводе подсказок корпоративные пользователи ИИ-сервисов могут случайно слить конфиденциальные данные, в том числе финансовую информацию, ключи доступа и код проприетарного программного обеспечения.

В IV квартале 2024 года эксперты тщательно мониторили использование бизнесом Microsoft Copilot, ChatGPT, Google Gemini, Claude от Anthropic и Perplexity. За этот период были изучены тысячи посказок-стимулов, которыми сотрудники предприятий пользовались в ходе работы с инструментами на основе генеративного ИИ.

В подавляющем большинстве случаев юзеры решали простые задачи: резюмировали текст, редактировали блог-записи, оформляли документацию по кодам. Тем не менее 8,5% зафиксированных подсказок исследователи идентифицировали как угрозу утечки важных данных.

В 45,8% случаев такой ввод содержал клиентские данные — сведения об оплате счетов, идентификаторы для доступа к сервисам. Более четверти потенциально опасных подсказок (26,8%) раскрывали информацию о сотрудниках, в том числе расходы по зарплатам, послужные списки, персональные данные.

Умному бизнес-помощнику также могут неумышленно слить юридическую и финансовую информацию (процесс продаж, портфель инвестиций, сделки M&A), связанные с безопасностью сведения (результаты пентестов, конфигурация сети, отчеты об инцидентах), критические важные коды (ключи доступа, исходники проприетарного ПО).

 

«В большинстве случаев организации справляются с подобным сливом, блокируя запросы либо предупреждая пользователей о потенциальной опасности совершаемых действий, — комментирует гендиректор Harmonic Аластер Патерсон (Alastair Paterson). — Однако не все пока располагают такими возможностями. Беспокоит также большое количество бесплатных подписок».

Бесплатные ИИ-инструменты обычно хуже защищены, чем корпоративные версии. К тому же их пользовательское соглашение обычно предусматривает использование пользовательского ввода для тренинга, и риск утечки конфиденциальных данных для бизнеса в этом случае очевиден.

Согласно результатам исследования, сотрудники предприятий отдают предпочтение бесплатным подпискам на ИИ-услуги.

 

Эксперты не советуют прибегать к блокировкам, чтобы снизить риски. По их мнению, лучше управлять использованием ИИ, придерживаясь следующих рекомендаций:

  • мониторинг ввода данных в реальном времени;
  • использование платного доступа либо сервисов, не обучающих свои модели на пользовательском вводе;
  • визуальный контроль данных, которыми юзеры делятся с ИИ-инструментами, со стороны ИБ-служб;
  • ранжирование конфиденциальных данных по степени ущерба в случае потери;
  • создание правил использования ИИ с дифференциацией департаментов и групп;
  • обучение персонала ответственному использованию ИИ, с объяснением рисков.

DROIDBREAKER обходит ML-детекторы Android-вредоносов без поломки APK

Машинное обучение в антивирусах снова получило неприятный привет. Исследователи представили DROIDBREAKER — фреймворк для создания модифицированных Android-приложений, которые могут обходить ML-детекторы вредоносных приложений и при этом сохранять работоспособность.

Авторы работы отмечают, что многие прежние атаки на Android-детекторы выглядели красиво в статьях, но плохо жили в реальности.

Одни методы добавляли в APK целые доброкачественные модули, из-за чего приложение обрастало лишними признаками и часто ломалось еще на этапе сборки. Другие меняли байт-код слишком грубо: формально APK получался валидным, но нормально работать уже не мог.

Отдельная претензия исследователей была к проверке успешности таких атак. По их словам, в прошлых работах часто ограничивались тестами: приложение установилось, запустилось — значит, всё хорошо. Но это не доказывает, что после модификаций оно сохранило исходную функциональность.

 

DROIDBREAKER пытается решить именно эту проблему. Фреймворк меняет только те компоненты APK, которые сильнее всего влияют на решение целевой ML-модели. Для этого используются более точечные и безопасные манипуляции: изменение API-вызовов, модулей приложения, разрешений, URL и элементов обфускации.

Главная фишка — проверка сохранения поведения. DROIDBREAKER сравнивает журналы выполнения и API-трейсы исходного и измененного приложения, чтобы убедиться: APK не просто собрался и запустился, а действительно продолжает делать то, что должен.

В экспериментах на свежем наборе Android-приложений фреймворк показал высокую эффективность обхода как в сценариях white-box, так и в black-box. При этом ему требовалось относительно мало запросов к модели, а побочных изменений в приложении было меньше, чем у прежних подходов.

Более того, модифицированные APK заметно реже детектировались коммерческими сканерами, представленными на VirusTotal.

RSS: Новости на портале Anti-Malware.ru