70% компаний столкнулись с атаками на LLM — чаще всего фишинг

70% компаний столкнулись с атаками на LLM — чаще всего фишинг

70% компаний столкнулись с атаками на LLM — чаще всего фишинг

Компании всё активнее внедряют большие языковые модели (LLM) в свои процессы — по оценкам, уже более 90% российских организаций используют ИИ-инструменты. Но вместе с этим растёт и число атак. По данным экспертов «Информзащиты», около 70% компаний уже столкнулись с попытками атак через LLM. Причина проста — безопасность ИИ часто остаётся «на потом», чем и пользуются злоумышленники.

Один из самых распространённых сценариев — это инъекции запросов (Prompt Injection). Суть в том, что хакер добавляет к обычному запросу фразу вроде «игнорируй предыдущие инструкции» — и модель, не различая, что к чему, может выполнить вредоносную команду.

Причём для такой атаки не нужны сложные знания: достаточно написать нужный текст — и модель поддастся.

По статистике, на такие инъекции приходится больше 40% атак на ИИ. В половине случаев их используют для фишинга, ещё в 40% — чтобы вытащить данные из систем. Под удар чаще всего попадают компании, где LLM работает на пользовательский фронт: чат-боты, умный поиск и т. д. Это особенно актуально для ретейла (37% атак), финансового сектора (25%) и телеком-компаний (17%).

Проблема ещё и в том, что безопасность часто отстаёт от скорости внедрения технологий. По оценке «Информзащиты», около 65% компаний запускают LLM без полноценной настройки и проверки. Модели могут получить доступ к внутренним базам данных, работать без ограничений по форматам запросов — и это делает их уязвимыми.

Что рекомендуют эксперты? Во-первых, регулярно проверять ИИ-инструменты на уязвимости: аудит, пентесты, оценка рисков. Во-вторых — грамотно настраивать модели: ограничивать доступ к чувствительным данным, вводить фильтры и валидацию запросов. И, наконец, подключить мониторинг — например, через SOC — чтобы вовремя замечать подозрительную активность и реагировать на атаки.

На взлом робота нужно не больше часа

Большинство коммерческих роботов сегодня содержит значительное число уязвимостей. Как предупреждают китайские эксперты, получение полного контроля над такими устройствами может занять не более часа, а некоторые модели удаётся взломать всего за считаные минуты.

Как рассказал китайскому изданию «Ицай» сотрудник исследовательской и сервисной компании Darknavy Сяо Сюанган, уровень безопасности в современной робототехнике остаётся крайне низким. По его словам, на получение контроля над робособакой Deep Robotics Lite у него ушло менее часа.

Его коллега, эксперт Darknavy Цюй Шипей, продемонстрировал журналистам ещё более наглядный пример — взлом системы управления гуманоидного робота Unitree Robotics занял у него чуть больше одной минуты.

По словам Сяо Сюангана, атака на робота обычно состоит из двух этапов. Сначала злоумышленник получает удалённый доступ к устройству, а затем обходит штатные системы управления и получает прямой контроль над приводами. В таком сценарии робот теоретически может быть использован для агрессивных и потенциально опасных действий.

Инженер-робототехник Линь Ипэй считает, что уязвимости на текущем этапе развития робототехники во многом неизбежны. Многие производители сознательно оставляют доступ к низкоуровневым функциям и возможность удалённого входа — это упрощает отладку и обновление программного обеспечения. По мере взросления технологий такие механизмы обычно закрываются, как это ранее произошло в автомобильной индустрии.

При этом, как отмечает издание, инциденты с роботами, вышедшими из-под контроля, уже фиксировались на практике. В одном случае сотрудник робототехнической компании получил травму из-за некорректных действий робота. В другом — на выставке в Пекине робособака врезалась в группу детей.

По данным журналистов, значительная часть компаний, работающих в сфере робототехники, вовсе не имеет специализированных подразделений информационной безопасности. Среди крупных производителей собственная ИБ-служба есть лишь у Unitree Robotics.

RSS: Новости на портале Anti-Malware.ru