70% компаний столкнулись с атаками на LLM — чаще всего фишинг

70% компаний столкнулись с атаками на LLM — чаще всего фишинг

70% компаний столкнулись с атаками на LLM — чаще всего фишинг

Компании всё активнее внедряют большие языковые модели (LLM) в свои процессы — по оценкам, уже более 90% российских организаций используют ИИ-инструменты. Но вместе с этим растёт и число атак. По данным экспертов «Информзащиты», около 70% компаний уже столкнулись с попытками атак через LLM. Причина проста — безопасность ИИ часто остаётся «на потом», чем и пользуются злоумышленники.

Один из самых распространённых сценариев — это инъекции запросов (Prompt Injection). Суть в том, что хакер добавляет к обычному запросу фразу вроде «игнорируй предыдущие инструкции» — и модель, не различая, что к чему, может выполнить вредоносную команду.

Причём для такой атаки не нужны сложные знания: достаточно написать нужный текст — и модель поддастся.

По статистике, на такие инъекции приходится больше 40% атак на ИИ. В половине случаев их используют для фишинга, ещё в 40% — чтобы вытащить данные из систем. Под удар чаще всего попадают компании, где LLM работает на пользовательский фронт: чат-боты, умный поиск и т. д. Это особенно актуально для ретейла (37% атак), финансового сектора (25%) и телеком-компаний (17%).

Проблема ещё и в том, что безопасность часто отстаёт от скорости внедрения технологий. По оценке «Информзащиты», около 65% компаний запускают LLM без полноценной настройки и проверки. Модели могут получить доступ к внутренним базам данных, работать без ограничений по форматам запросов — и это делает их уязвимыми.

Что рекомендуют эксперты? Во-первых, регулярно проверять ИИ-инструменты на уязвимости: аудит, пентесты, оценка рисков. Во-вторых — грамотно настраивать модели: ограничивать доступ к чувствительным данным, вводить фильтры и валидацию запросов. И, наконец, подключить мониторинг — например, через SOC — чтобы вовремя замечать подозрительную активность и реагировать на атаки.

Подпишитесь на новости

В справке WhatsApp нашли скрытые указания для бота не упоминать GDPR

В коде справочных страниц WhatsApp (принадлежит корпорации Meta, признанной экстремистской и запрещённой в России) обнаружились скрытые указания для ИИ-поддержки: не рекомендовать обращение к регуляторам, а при упоминании суда или адвоката — не ссылаться на законодательство о защите данных. Пользователь видел обычную справку, а бот получал дополнительную методичку о том, чего лучше не говорить.

Находку опубликовала компания Redact. Исследователи проверили 545 страниц и обнаружили 102 скрытых блока на 80 из них.

Большинство содержало обычные служебные пояснения, но некоторые явно заслуживали отдельного внимания.

Например, пользователю, потерявшему доступ к номеру и не способному удалить аккаунт, бот не должен был советовать обращаться в надзорные органы. При этом европейская политика конфиденциальности WhatsApp прямо предусматривает возможность такой жалобы.


Другая инструкция запрещала обсуждать GDPR, LGPD и CCPA после упоминания юридического разбирательства, даже если пользователь сам спрашивал об этих нормах.

WhatsApp подтвердил WIRED, что указания предназначались собственному чат-боту поддержки. Их появление в публичном коде компания объяснила ошибкой, а ограничения — стремлением не давать юридические советы. К 18 октября скрытые блоки удалили.

RSS: Новости на портале Anti-Malware.ru