AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions сообщила о разработке ИИ-файрвола — продукта для защиты систем с искусственным интеллектом и фильтрации запросов к большим языковым моделям. Разработкой занималась команда AppSec Solutions, входящая в группу компаний.

Решение ориентировано на компании, которые уже используют LLM в бизнес-процессах или только планируют внедрять нейросети.

Основная задача ИИ-файрвола — проверять входящие запросы и снижать риски, связанные с небезопасным использованием моделей.

Такие инструменты становятся всё актуальнее по мере того, как ИИ-сервисы начинают работать с корпоративными данными, внутренними системами и пользовательскими обращениями. Среди типичных рисков — инъекции в промпты, попытки обойти ограничения модели, утечки чувствительной информации и нежелательная генерация ответов.

Swordfish Security уже занимается темой безопасности ИИ. Ранее компания подготовила общедоступный фреймворк безопасности ИИ, с помощью которого организации могут оценивать зрелость и защищённость систем с применением нейросетей. Заявляется, что он адаптирует международный опыт к российскому законодательству и локальной практике.

Появление ИИ-файрвола выглядит логичным продолжением этой работы. Рынок постепенно приходит к простой мысли: подключить LLM к продукту или внутреннему сервису уже недостаточно. Нужно ещё понимать, кто и как с ней взаимодействует, какие запросы проходят внутрь системы и какие данные могут выйти наружу.

По сути, Swordfish Security развивает направление прикладной защиты ИИ-систем не на уровне общих разговоров про риски нейросетей, а через инструменты, которые должны встраиваться в реальные корпоративные сценарии.

К слову, команда AM Live провела день в офисе ГК Swordfish Securirty и выяснила, как развивают защиту ИИ уже сейчас и как она будет выглядеть в будущем. Кибербезопасность, разработка и искусственный интеллект; как на самом деле работает команда, которая создаёт продукты в условиях, где ещё нет готовых правил, стандартов и людей.