Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный искусственный интеллект (ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.

Перечень таких рисков приведён в докладе «Агентный ИИ: маркетинговый ход или технологическая революция?», подготовленном Росконгрессом. Документ оказался в распоряжении РИА Новости.

Согласно докладу, атаки с применением агентного ИИ представляют собой крайне серьёзную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков — нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.

Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Исследования показывают, что использование техники MINJA (Memory INJection Attack) позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.

Авторы отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов — финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок. В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.

«Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных, обеспечение независимости функций безопасности от работы самих ИИ-агентов, а также непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении», — говорится в докладе.

Самарские учёные заглянули в мэрии городов Minecraft

Полиция без дела, суды пустуют, а гриферство разрешено. Казалось бы, виртуальный город уже должен пылать. Но исследование Самарского университета показало: игроки Minecraft способны поддерживать порядок без сурового кодекса и армии надзирателей.

Исследовательница Ольга Удалова провела восемь интервью с мэрами виртуальных городов и опросила 246 игроков.

Выяснилось, что устойчивость таких сообществ зависит прежде всего от плотности социальных связей. Формальные правила тоже есть, но погоду делают не они.

В одних городах действуют подробные нормы, в других подход предельно лаконичен: законов по сути нет, если ты адекватный. Вместо полиции и суда работают личные знакомства, взаимопомощь, репутация и неформальный авторитет мэра. Конфликты жители предпочитают разбирать переговорами, а ущерб — компенсировать добровольно.

Показателен Бустерград с населением 117 человек. Исследовательница относит его к полуанархическим сообществам: местные правила формально разрешают гриферство и присвоение чужого имущества. Однако пользоваться этой свободой игроки не спешат.

Однажды житель случайно уничтожил чужой лут и без всякого суда выплатил владельцу 2000 единиц игровой валюты. Никто его не заставлял — просто получить репутацию человека, с которым лучше не связываться, оказалось дороже.

Исследование показывает, что в рассмотренных городах Minecraft порядок держится не на страхе наказания, а на доверии и социальных связях. Плохая репутация осложняет торговлю, общение и совместные проекты, а заодно отпугивает новых жителей.

RSS: Новости на портале Anti-Malware.ru