Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный искусственный интеллект (ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.

Перечень таких рисков приведён в докладе «Агентный ИИ: маркетинговый ход или технологическая революция?», подготовленном Росконгрессом. Документ оказался в распоряжении РИА Новости.

Согласно докладу, атаки с применением агентного ИИ представляют собой крайне серьёзную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков — нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.

Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Исследования показывают, что использование техники MINJA (Memory INJection Attack) позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.

Авторы отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов — финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок. В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.

«Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных, обеспечение независимости функций безопасности от работы самих ИИ-агентов, а также непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении», — говорится в докладе.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

В CyberMir 7.2 появилась таксономия киберучений и новые игровые форматы

Вышла новая версия платформы для киберучений CyberMir 7.2 от ГК «Солар». Главное обновление — появление таксономии мероприятий, которая помогает участникам проще ориентироваться в форматах и тематиках киберсоревнований. Теперь можно выбрать подходящий тип учений, уровень сложности, роль и даже формат контента — теория, практика или смешанный вариант.

Над улучшением работали на основе UX-исследования, в котором участвовали более 300 специалистов по информационной безопасности — как сотрудники Solar JSOC, так и представители бизнеса.

По словам Сергея Кулакова, директора департамента «Киберполигон», результаты проведённых киберучений показали, что многие специалисты изначально владеют только 20–30% от целевых навыков. После серии тренингов этот показатель удаётся поднять до 60% и выше. Чтобы повысить эффективность обучения, разработчики развивают игровые форматы и делают акцент на онлайн-решениях, которые позволяют вовлечь больше участников.

Таксономия мероприятий охватывает более 30 форматов. Среди них — тренировки, обучение, тесты, игры, соревнования и смешанные варианты. Введено чёткое деление по ролям: Red Team, Blue Team, Red vs Blue, Purple Team и другие. Это позволяет участникам проверить свои навыки в конкретных областях киберзащиты.

Навыки можно прокачивать по 20 экспертным направлениям: от форензики и восстановления систем после инцидентов до защиты инфраструктуры, поиска уязвимостей, криптографии, реверс-инжиниринга и CTF-соревнований разных типов. Уровни сложности — пять, от элементарного до экспертного.

В основе платформы работает игровой движок Solar Quest, который добавляет в киберучения элементы приключенческих игр. Это позволяет варьировать сценарии и лучше оценивать действия специалистов в реальных условиях атаки и расследования инцидентов.

CyberMir можно использовать для киберчемпионатов с большим количеством участников — от отдельных команд до сотен специалистов, как в облаке, так и в локальном формате.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru