AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions сообщила о разработке ИИ-файрвола — продукта для защиты систем с искусственным интеллектом и фильтрации запросов к большим языковым моделям. Разработкой занималась команда AppSec Solutions, входящая в группу компаний.

Решение ориентировано на компании, которые уже используют LLM в бизнес-процессах или только планируют внедрять нейросети.

Основная задача ИИ-файрвола — проверять входящие запросы и снижать риски, связанные с небезопасным использованием моделей.

Такие инструменты становятся всё актуальнее по мере того, как ИИ-сервисы начинают работать с корпоративными данными, внутренними системами и пользовательскими обращениями. Среди типичных рисков — инъекции в промпты, попытки обойти ограничения модели, утечки чувствительной информации и нежелательная генерация ответов.

Swordfish Security уже занимается темой безопасности ИИ. Ранее компания подготовила общедоступный фреймворк безопасности ИИ, с помощью которого организации могут оценивать зрелость и защищённость систем с применением нейросетей. Заявляется, что он адаптирует международный опыт к российскому законодательству и локальной практике.

Появление ИИ-файрвола выглядит логичным продолжением этой работы. Рынок постепенно приходит к простой мысли: подключить LLM к продукту или внутреннему сервису уже недостаточно. Нужно ещё понимать, кто и как с ней взаимодействует, какие запросы проходят внутрь системы и какие данные могут выйти наружу.

По сути, Swordfish Security развивает направление прикладной защиты ИИ-систем не на уровне общих разговоров про риски нейросетей, а через инструменты, которые должны встраиваться в реальные корпоративные сценарии.

К слову, команда AM Live провела день в офисе ГК Swordfish Securirty и выяснила, как развивают защиту ИИ уже сейчас и как она будет выглядеть в будущем. Кибербезопасность, разработка и искусственный интеллект; как на самом деле работает команда, которая создаёт продукты в условиях, где ещё нет готовых правил, стандартов и людей.

Подпишитесь на новости

Операторы пригрозили заглушить звонки крупнейших банков с 15 октября

Клиенты крупнейших российских банков могут внезапно перестать получать звонки от службы безопасности, поддержки и кол-центров. Операторы большой четвёрки предупредили: с 15 октября вызовы без обязательной маркировки могут не дойти до абонентов.

Как сообщает «Коммерсантъ», под блокировку рискуют попасть звонки Альфа-Банка, ВТБ, Газпромбанка, «Ренессанс Кредита», Сбербанка, Совкомбанка и Т-Банка.

Операторы утверждают, что эти организации не заключили договоры на маркировку либо подписали их, но не выполняют условия.

Минцифры уже попросило Центробанк вмешаться. По данным ведомства, после введения обязательной маркировки число спам-звонков сократилось на 25-30%.

Более 90% банковских организаций и почти все компании из других отраслей договоры с операторами уже оформили. А вот крупнейшие игроки, генерирующие львиную долю вызовов, решили пободаться за трактовку закона.

Цена вопроса — около 30 копеек за каждую попытку звонка, даже если клиент не поднял трубку. Банки считают, что маркировку должны обеспечивать сами операторы, и оценивают общие расходы отрасли в миллиарды рублей ежегодно. Телеком-компании отвечают просто: не хотите маркироваться — ваши звонки никуда не дойдут.

Масштабы обзвона впечатляют. Только за месяц Альфа-Банк совершил через сеть одного оператора 43 млн вызовов, Совкомбанк — 22,7 млн, ВТБ — 9 млн, Т-Банк — 6 млн, а Сбербанк — 5,7 млн. По оценке источника издания, на крупнейшие банки приходится 95% банковского спама.

Но вместе с рекламой под цифровую гильотину способны попасть предупреждения о подозрительных операциях и запросы на подтверждение платежей.

RSS: Новости на портале Anti-Malware.ru