Игроков в Call of Duty атакует самораспространяющийся червь

Корпоративному ИИ-ассистенту доверили документы, клиентские данные и доступ к системам. Теперь осталось проследить, чтобы командовать им не начал первый встречный. Positive Technologies разработала LLM Firewall — модуль защиты ИИ-сервисов в составе PT Application Firewall.

По словам компании, он проверяет запросы к языковым моделям и их ответы: ищет попытки обойти ограничения, вытащить системные инструкции, раскрыть конфиденциальную информацию или использовать возможности агента в интересах атакующего.

Одна из целей — противодействие инъекциям в промпт. Вредоносную инструкцию можно отправить боту напрямую или спрятать в документе, который тот обрабатывает. Внешне это обычный текст, а по замыслу — попытка назначить нейросети нового начальника.

Подозрительные обращения модуль позволяет блокировать либо фиксировать для последующего разбора. Отдельно заявлено обнаружение персональных данных, паролей, ключей доступа, а также токсичного и запрещённого контента.

Проверка работает в обе стороны: контролируется и то, что отправляют модели, и то, что она выдаёт пользователю. Секреты могут утечь не только из-за хитрого атакующего, но и благодаря очень старательному сотруднику.

LLM Firewall уже интегрирован в PT AF Cloud. Он подключается к обмену между приложением и моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль управления не требуется. В PT AF PRO для развёртывания внутри инфраструктуры заказчика модуль обещают добавить позднее.

Для разных ИИ-сервисов можно задавать свои политики, выбирать мониторинг или блокировку, отдельно настраивать проверку запросов и ответов. События поступают в PT AF для анализа и расследования.