Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный искусственный интеллект (ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.

Перечень таких рисков приведён в докладе «Агентный ИИ: маркетинговый ход или технологическая революция?», подготовленном Росконгрессом. Документ оказался в распоряжении РИА Новости.

Согласно докладу, атаки с применением агентного ИИ представляют собой крайне серьёзную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков — нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.

Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Исследования показывают, что использование техники MINJA (Memory INJection Attack) позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.

Авторы отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов — финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок. В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.

«Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных, обеспечение независимости функций безопасности от работы самих ИИ-агентов, а также непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении», — говорится в докладе.

Cloudflare признал домены Телеги шпионскими

Удаление приложения «Телега» из App Store, судя по всему, оказалось связано не только с шумом вокруг безопасности, но и с инфраструктурными проблемами проекта. Речь идёт о двух доменах, которые, по данным издания, относятся к проекту: telega.me и api.telega.info.

После появления такой метки, как объяснили собеседники «Кода Дурова», для «Телеги» фактически запустился процесс быстрого вытеснения с крупных площадок.

Один из ключевых эпизодов в этой цепочке — отзыв TLS-сертификата международным удостоверяющим центром GlobalSign. Именно этот сертификат подтверждал подлинность проекта и использовался для защищённого соединения по HTTPS.

По словам одного из экспертов, отзыв сертификата мог стать критически важным фактором для присутствия приложения в App Store.

 

При этом мнения собеседников издания немного разошлись в деталях. Один из них считает, что решающим был именно отзыв сертификата, а пометка Cloudflare лишь запустила эту цепочку.

Другой, наоборот, полагает, что главную роль сыграло именно признание доменов Telega «шпионскими», а уже затем это привело к отзыву сертификата и удалению приложения со стороны Apple.

Смысл их аргумента примерно такой: если бы проблема была только в технической замене сертификата, разработчики могли бы сравнительно быстро перевыпустить его и вернуть приложение в рабочее состояние.

Но поскольку речь шла именно об отзыве сертификата на фоне более серьёзной репутационной и инфраструктурной оценки, ситуация оказалась жёстче.

В итоге сторонний клиент исчез из App Store. И это произошло на фоне уже и без того громкого скандала вокруг «Телеги»: ранее приложение активно обсуждали из-за подозрений в возможном MITM-перехвате трафика.

RSS: Новости на портале Anti-Malware.ru