Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный искусственный интеллект (ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.

Перечень таких рисков приведён в докладе «Агентный ИИ: маркетинговый ход или технологическая революция?», подготовленном Росконгрессом. Документ оказался в распоряжении РИА Новости.

Согласно докладу, атаки с применением агентного ИИ представляют собой крайне серьёзную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков — нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.

Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Исследования показывают, что использование техники MINJA (Memory INJection Attack) позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.

Авторы отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов — финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок. В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.

«Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных, обеспечение независимости функций безопасности от работы самих ИИ-агентов, а также непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении», — говорится в докладе.

В App Store и Google Play нашли десятки приложений для «раздевания» людей

Пока в соцсетях обсуждают скандалы вокруг чат-бота Grok, которого пользователи применяли для создания откровенных изображений женщин без их согласия, выяснилось, что проблема куда шире. В неё оказались вовлечены два самых популярных магазина приложений для мобильных устройств — Apple App Store и Google Play Store.

Как сообщает Tech Transparency Project, в официальных магазинах приложений обнаружились десятки так называемых nudify-приложений — сервисов, которые с помощью ИИ позволяют «раздевать» женщин на изображениях или создавать откровенные сцены.

По данным исследования, в Google Play Store таких приложений насчитали 55, в App Store — 47, причём 38 из них присутствовали сразу в обоих магазинах.

 

 

Для проверки исследователи просто искали по ключевым словам вроде «nudify» и «undress» — и без особых усилий находили десятки приложений. Часть из них генерировала изображения и видео по текстовым запросам, другие занимались «фейссвапом», подставляя лицо одного человека в тело другого.

После того как список приложений передали Google и Apple, компании всё же отреагировали: Google удалила 31 приложение, Apple — 25. Однако значительная часть подобных сервисов по-прежнему доступна, особенно в Play Store.

Отдельное внимание в отчёте уделяется приложению DreamFace — генератору изображений и видео, который до сих пор доступен в Google Play, хотя из App Store его уже убрали. По словам исследователей, сервис практически не сопротивляется откровенным запросам и спокойно создаёт непристойные изображения женщин.

Пользователю дают один бесплатный ролик в день, а за расширенные возможности предлагают оформить подписку. По данным AppMagic, DreamFace уже заработал около $1 млн.

Ирония в том, что и Google, и Apple получают до 30% комиссии с таких подписок — то есть фактически зарабатывают на приложениях, которые нарушают их же собственные правила.

Похожая история и с приложением Collart, которое тоже умеет генерировать откровенный контент и принимать прямые запросы на порнографические сцены. Его удалили из App Store, но в Google Play оно всё ещё доступно.

Ещё более тревожной эксперты называют категорию фейссвоп-приложений. Такие сервисы позволяют подставлять лица реальных людей — знакомых, коллег, одноклассников — на обнажённые тела. Например, приложение RemakeFace на момент публикации остаётся доступным сразу в обоих магазинах и, как утверждается в отчёте, легко используется для создания несогласованных интимных изображений.

При этом и Apple, и Google официально запрещают приложения с сексуальной наготой. Но, как показало исследование, этих ограничений оказалось недостаточно: ИИ-сервисы для «раздевания» людей годами спокойно проходили модерацию и распространялись через официальные магазины.

RSS: Новости на портале Anti-Malware.ru