PT Application Firewall получил защиту от атак на LLM

PT Application Firewall получил защиту от атак на LLM

PT Application Firewall получил защиту от атак на LLM

Корпоративному ИИ-ассистенту доверили документы, клиентские данные и доступ к системам. Теперь осталось проследить, чтобы командовать им не начал первый встречный. Positive Technologies разработала LLM Firewall — модуль защиты ИИ-сервисов в составе PT Application Firewall.

По словам компании, он проверяет запросы к языковым моделям и их ответы: ищет попытки обойти ограничения, вытащить системные инструкции, раскрыть конфиденциальную информацию или использовать возможности агента в интересах атакующего.

Одна из целей — противодействие инъекциям в промпт. Вредоносную инструкцию можно отправить боту напрямую или спрятать в документе, который тот обрабатывает. Внешне это обычный текст, а по замыслу — попытка назначить нейросети нового начальника.

Подозрительные обращения модуль позволяет блокировать либо фиксировать для последующего разбора. Отдельно заявлено обнаружение персональных данных, паролей, ключей доступа, а также токсичного и запрещённого контента.

Проверка работает в обе стороны: контролируется и то, что отправляют модели, и то, что она выдаёт пользователю. Секреты могут утечь не только из-за хитрого атакующего, но и благодаря очень старательному сотруднику.

LLM Firewall уже интегрирован в PT AF Cloud. Он подключается к обмену между приложением и моделью через API, совместимый с OpenAI Chat Completions и Responses. Отдельная консоль управления не требуется. В PT AF PRO для развёртывания внутри инфраструктуры заказчика модуль обещают добавить позднее.

Для разных ИИ-сервисов можно задавать свои политики, выбирать мониторинг или блокировку, отдельно настраивать проверку запросов и ответов. События поступают в PT AF для анализа и расследования.

Подпишитесь на новости

68% инцидентов без аналитика: что обещает ИИ в MaxPatrol O2

Очередь инцидентов растёт, а дополнительных аналитиков из воздуха не выдают. Positive Technologies предлагает разгрузить SOC с помощью каскада ИИ-моделей MaxPatrol O2. По данным компании, система автоматически закрывает 68% инцидентов, тратя на каждый около 15-20 секунд. По оставшимся аналитик получает вердикт с объяснением менее чем за 15 минут.

Работа разделена на два этапа. Сначала ML-модели оценивают инциденты и закрывают ложные срабатывания.

Подозрительные случаи передаются ИИ-агенту: он строит гипотезу, проверяет её по событиям из разных источников и готовит отчёт. Получается распределение обязанностей, похожее на работу первой и второй линий SOC.

В отчёте приводятся собранные события и похожие инциденты с вердиктами. Каждый факт можно проследить до исходного события. Степень самостоятельности системы настраивается: например, автоматическое закрытие можно разрешить только для отдельных классов инцидентов.

Разработчик также заявляет о совпадении вердиктов MaxPatrol O2 с вердиктами облачного сервиса PT X, сверенными с решениями аналитиков, более чем в 98% случаев.

В планах компании сократить долю инцидентов, требующих ручной работы, до 10%. Продукт доступен в облачной версии и для развёртывания в инфраструктуре заказчика.

Аналитиков из SOC пока не вычёркивают. Им обещают убрать значительную часть рутины, чтобы до подозрительной активности руки доходили раньше, чем до отчёта о пропущенной атаке.

RSS: Новости на портале Anti-Malware.ru