8,5% подсказок ИИ сливают ключи доступа и финансовые данные компаний

8,5% подсказок ИИ сливают ключи доступа и финансовые данные компаний

8,5% подсказок ИИ сливают ключи доступа и финансовые данные компаний

Проведенное в Harmonic Security исследование показало, что при вводе подсказок корпоративные пользователи ИИ-сервисов могут случайно слить конфиденциальные данные, в том числе финансовую информацию, ключи доступа и код проприетарного программного обеспечения.

В IV квартале 2024 года эксперты тщательно мониторили использование бизнесом Microsoft Copilot, ChatGPT, Google Gemini, Claude от Anthropic и Perplexity. За этот период были изучены тысячи посказок-стимулов, которыми сотрудники предприятий пользовались в ходе работы с инструментами на основе генеративного ИИ.

В подавляющем большинстве случаев юзеры решали простые задачи: резюмировали текст, редактировали блог-записи, оформляли документацию по кодам. Тем не менее 8,5% зафиксированных подсказок исследователи идентифицировали как угрозу утечки важных данных.

В 45,8% случаев такой ввод содержал клиентские данные — сведения об оплате счетов, идентификаторы для доступа к сервисам. Более четверти потенциально опасных подсказок (26,8%) раскрывали информацию о сотрудниках, в том числе расходы по зарплатам, послужные списки, персональные данные.

Умному бизнес-помощнику также могут неумышленно слить юридическую и финансовую информацию (процесс продаж, портфель инвестиций, сделки M&A), связанные с безопасностью сведения (результаты пентестов, конфигурация сети, отчеты об инцидентах), критические важные коды (ключи доступа, исходники проприетарного ПО).

 

«В большинстве случаев организации справляются с подобным сливом, блокируя запросы либо предупреждая пользователей о потенциальной опасности совершаемых действий, — комментирует гендиректор Harmonic Аластер Патерсон (Alastair Paterson). — Однако не все пока располагают такими возможностями. Беспокоит также большое количество бесплатных подписок».

Бесплатные ИИ-инструменты обычно хуже защищены, чем корпоративные версии. К тому же их пользовательское соглашение обычно предусматривает использование пользовательского ввода для тренинга, и риск утечки конфиденциальных данных для бизнеса в этом случае очевиден.

Согласно результатам исследования, сотрудники предприятий отдают предпочтение бесплатным подпискам на ИИ-услуги.

 

Эксперты не советуют прибегать к блокировкам, чтобы снизить риски. По их мнению, лучше управлять использованием ИИ, придерживаясь следующих рекомендаций:

  • мониторинг ввода данных в реальном времени;
  • использование платного доступа либо сервисов, не обучающих свои модели на пользовательском вводе;
  • визуальный контроль данных, которыми юзеры делятся с ИИ-инструментами, со стороны ИБ-служб;
  • ранжирование конфиденциальных данных по степени ущерба в случае потери;
  • создание правил использования ИИ с дифференциацией департаментов и групп;
  • обучение персонала ответственному использованию ИИ, с объяснением рисков.
Подпишитесь на новости

Apple ужесточит доступ приложений в macOS из-за распространения ИИ-агентов

Apple меняет системные разрешения в macOS, которые открывают приложениям широкий доступ к данным на яблочных устройствах. Поводом стали ИИ-агенты: они работают прямо на компьютере, управляют файлами и программами от имени пользователя, и им часто выдают полный доступ к диску.

Изменения появятся в macOS 27.3, сейчас они доступны во второй бета-версии. Подробности Apple опубликовала на сайте для разработчиков.

Раздел «Управление устройством и доступ к данным» разделят на две настройки: System & App Protection Override, которая отключает встроенную защиту системы и приложений, и Accessibility для вспомогательных технологий.

Разрешение будет выдаваться одним способом: пользователь выбирает нужное приложение из списка. Apple советует давать право на отключение защиты только тем программам, которым оно действительно нужно, а полный доступ к диску ограничивать конкретными папками.

Приложение можно будет настроить так, чтобы оно спрашивало разрешение при каждом обращении. Когда одна программа управляет другой, система покажет специальный индикатор.

Выданные раньше разрешения продолжат действовать. Разработчикам Apple рекомендует обновить сценарии первого запуска и научить приложения работать с ограниченным доступом.

Программы для резервного копирования и вспомогательные технологии смогут получить специальные разрешения, чтобы новые пользователи не заметили разницы.

В октябре Apple пообещала пересмотреть настройки безопасности после двух случаев. Журналист рассказал, что приложение Muse от Meta (корпорация Meta признана экстремистской и запрещена в России) получило доступ к его личным сообщениям без разрешения, а Wired сообщил об уязвимости ChatGPT для macOS, через которую злоумышленники могли добраться до конфиденциальных данных.

RSS: Новости на портале Anti-Malware.ru