Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный ИИ несет целый комплекс угроз для корпораций

Агентный искусственный интеллект (ИИ), который работает автономно без участия человека и заранее прописанных алгоритмов, имеет целый ряд уязвимостей. Эти слабые места могут быть использованы злоумышленниками для атак на пользователей подобных систем, в первую очередь корпоративных.

Перечень таких рисков приведён в докладе «Агентный ИИ: маркетинговый ход или технологическая революция?», подготовленном Росконгрессом. Документ оказался в распоряжении РИА Новости.

Согласно докладу, атаки с применением агентного ИИ представляют собой крайне серьёзную угрозу. Потенциальный ущерб от их реализации может превысить последствия традиционных техник кибератак. В числе рисков — нежелательные действия, к совершению которых злоумышленники способны запрограммировать ИИ-агентов.

Отдельное внимание уделено угрозе «отравления памяти» ИИ. Такой сценарий стал возможен благодаря наличию у систем долговременной памяти. Исследования показывают, что использование техники MINJA (Memory INJection Attack) позволяет злоумышленникам добиваться нужных им действий с вероятностью до 70%, при этом не требуя от атакующих высоких привилегий доступа.

Авторы отмечают и другую проблему: современные ИИ-агенты получают доступ к конфиденциальным данным клиентов — финансовой информации, интеллектуальной собственности, юридическим документам и данным о транзакциях в цепочках поставок. В результате существует риск несанкционированного раскрытия этих данных. По статистике, с этим сталкивались почти 25% компаний, а 80% организаций, использующих ИИ-агентов, фиксировали попытки неавторизованного доступа к закрытой информации.

«Критически важными являются ограничение функциональности расширений до минимально необходимого уровня, использование множественных агентов с раздельными ролями вместо универсальных, обеспечение независимости функций безопасности от работы самих ИИ-агентов, а также непрерывный мониторинг с применением ограничений скорости и механизмов автоматического отключения агентов при аномальном поведении», — говорится в докладе.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Новая классификация атак мошенников поможет снизить их успех на 15–20%

Российские ученые по-новому систематизировали атаки, использующие элементы социальной инженерии, и надеются, что их разработка поможет бизнесу и госструктурам перейти от реактивного подхода к защите к проактивному.

Авторы проекта — сотрудники Президентской академии народного хозяйства и госслужбы (РАНХиГС) и Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН).

Как выяснили исследователи, действия мошенников, независимо от применяемой схемы, можно свести в единый процесс:

  • сбор информации для выработки сценария и определения масштабов атаки (массовая, персонализированная);
  • установка контакта с потенциальными жертвами (через телефонную связь, имейл, мессенджеры, соцсети, сайты знакомств);
  • манипуляции для получения искомого эффекта (мнимые перспективы финансовой выгоды, шантаж, намек на возможность романтических отношений);
  • реализация — жертва обмана раскрывает конфиденциальные данные, переходит по фишинговой ссылке, загружает зловреда и т. п.

Подобная унификация позволяет предприятиям на основе анализа цифровой активности сотрудников принять превентивные меры даже против новых мошеннических схем, с невиданными ранее приманками, уловками и легендами.

Используя наработки ученых, HR-отделы и службы ИБ смогут заранее выявлять потенциальных жертв мошенничества с доступом к корпоративным системам и соответствующим образом адаптировать средства защиты, образовательные программы и тренинги.

«Классификация позволяет предусмотреть траектории атак и внедрить точечные меры профилактики на каждом этапе, — комментирует Татьяна Тулупьева, соавтор исследования, советник проректора по науке Академии и ведущий научный сотрудник СПб ФИЦ РАН. — Важный превентивный момент — распространение информации о многочисленных видах атак для широкой аудитории, чтобы любой пользователь имел возможность распознать воздействие, которое на него пытаются оказать злоумышленники».

По оценкам исследователей, их разработка поможет снизить успешность атак злоумышленников, сделавших ставку на человеческий фактор, в среднем на 15–20%, а также сберечь для российской экономики миллиарды рублей.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru