70% компаний столкнулись с атаками на LLM — чаще всего фишинг

70% компаний столкнулись с атаками на LLM — чаще всего фишинг

70% компаний столкнулись с атаками на LLM — чаще всего фишинг

Компании всё активнее внедряют большие языковые модели (LLM) в свои процессы — по оценкам, уже более 90% российских организаций используют ИИ-инструменты. Но вместе с этим растёт и число атак. По данным экспертов «Информзащиты», около 70% компаний уже столкнулись с попытками атак через LLM. Причина проста — безопасность ИИ часто остаётся «на потом», чем и пользуются злоумышленники.

Один из самых распространённых сценариев — это инъекции запросов (Prompt Injection). Суть в том, что хакер добавляет к обычному запросу фразу вроде «игнорируй предыдущие инструкции» — и модель, не различая, что к чему, может выполнить вредоносную команду.

Причём для такой атаки не нужны сложные знания: достаточно написать нужный текст — и модель поддастся.

По статистике, на такие инъекции приходится больше 40% атак на ИИ. В половине случаев их используют для фишинга, ещё в 40% — чтобы вытащить данные из систем. Под удар чаще всего попадают компании, где LLM работает на пользовательский фронт: чат-боты, умный поиск и т. д. Это особенно актуально для ретейла (37% атак), финансового сектора (25%) и телеком-компаний (17%).

Проблема ещё и в том, что безопасность часто отстаёт от скорости внедрения технологий. По оценке «Информзащиты», около 65% компаний запускают LLM без полноценной настройки и проверки. Модели могут получить доступ к внутренним базам данных, работать без ограничений по форматам запросов — и это делает их уязвимыми.

Что рекомендуют эксперты? Во-первых, регулярно проверять ИИ-инструменты на уязвимости: аудит, пентесты, оценка рисков. Во-вторых — грамотно настраивать модели: ограничивать доступ к чувствительным данным, вводить фильтры и валидацию запросов. И, наконец, подключить мониторинг — например, через SOC — чтобы вовремя замечать подозрительную активность и реагировать на атаки.

У криминального ИИ-сервиса WormGPT украли данные 19 тысяч подписчиков

На популярном онлайн-форуме, посвященном утечкам, появилось сообщение о взломе ИИ-платформы, специально созданной для нужд киберкриминала. К посту прикреплен образец добычи — персональные данные, якобы принадлежащие юзерам WormGPT.

По словам автора атаки, ему суммарно удалось украсть информацию о 19 тыс. подписчиков хакерского ИИ-сервиса, в том числе их имейлы, ID и детали платежей.

Эксперты Cybernews изучили слитый образец февральских записей из базы и обнаружили, что они действительно содержат пользовательские данные и дополнительные сведения:

  • тип подписки;
  • валюта, в которой производилась оплата;
  • суммарная выручка по тому же тарифному плану.

Автор поста об атаке на WormGPT — хорошо известный форумчанин, на счету которого множество легитимных публикаций. Этот факт, по мнению исследователей, придает еще больше веса утверждению о взломе криминального ИИ-сервиса.

Утечка пользовательской базы WormGPT позволяет идентифицировать авторов атак с применением этого ИИ-инструмента. Злоумышленники могут ею воспользоваться, к примеру, для адресного фишинга или шантажа.

RSS: Новости на портале Anti-Malware.ru