Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный искусственный интеллект (ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.

Перечень таких рисков приведён в докладе «Агентный ИИ: маркетинговый ход или технологическая революция?», подготовленном Росконгрессом. Документ оказался в распоряжении РИА Новости.

Согласно докладу, атаки с применением агентного ИИ представляют собой крайне серьёзную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков — нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.

Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Исследования показывают, что использование техники MINJA (Memory INJection Attack) позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.

Авторы отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов — финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок. В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.

«Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных, обеспечение независимости функций безопасности от работы самих ИИ-агентов, а также непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении», — говорится в докладе.

Координаты французского авианосца попали в интернет через Strava

Координаты авианосца «Шарль де Голль», как выяснилось, можно было отслеживать в реальном времени. Для этого оказалось достаточно данных из фитнес-приложения Strava. По данным СМИ, один из офицеров авианосца использовал популярный сервис для отслеживания нагрузок во время пробежек по палубе.

Об этом инциденте сообщила газета Le Monde. При этом профиль упомянутого офицера, как отмечает издание, был открыт для всех пользователей.

В результате, пишет Le Monde, любой желающий мог видеть местоположение не только самого авианосца, но и всей сопровождающей его корабельной группы. И хотя сам факт нахождения этой группы в Средиземном море не является секретом, раскрытие точных координат издание назвало «опасной неосторожностью».

В комментарии Le Monde французское Министерство обороны назвало использование Strava с публичным профилем опасным нарушением дисциплины. Ведомство также пообещало принять дисциплинарные меры в отношении всех, кто будет уличён в подобной неосторожности.

При этом Strava уже не впервые оказывается в центре подобных историй. Ранее сервис критиковали за утечку чувствительной информации даже в случаях, когда пользователи настраивали приватные зоны.

Однако многие по-прежнему оставляют свои профили открытыми — по небрежности или просто по незнанию. Как оказалось, так иногда поступают даже сотрудники спецслужб. Именно таким образом ранее были деанонимизированы сотрудники шведской Säpo, отвечающие за охрану первых лиц государства, включая премьер-министра и членов королевской семьи.

RSS: Новости на портале Anti-Malware.ru