AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions сообщила о разработке ИИ-файрвола — продукта для защиты систем с искусственным интеллектом и фильтрации запросов к большим языковым моделям. Разработкой занималась команда AppSec Solutions, входящая в группу компаний.

Решение ориентировано на компании, которые уже используют LLM в бизнес-процессах или только планируют внедрять нейросети.

Основная задача ИИ-файрвола — проверять входящие запросы и снижать риски, связанные с небезопасным использованием моделей.

Такие инструменты становятся всё актуальнее по мере того, как ИИ-сервисы начинают работать с корпоративными данными, внутренними системами и пользовательскими обращениями. Среди типичных рисков — инъекции в промпты, попытки обойти ограничения модели, утечки чувствительной информации и нежелательная генерация ответов.

Swordfish Security уже занимается темой безопасности ИИ. Ранее компания подготовила общедоступный фреймворк безопасности ИИ, с помощью которого организации могут оценивать зрелость и защищённость систем с применением нейросетей. Заявляется, что он адаптирует международный опыт к российскому законодательству и локальной практике.

Появление ИИ-файрвола выглядит логичным продолжением этой работы. Рынок постепенно приходит к простой мысли: подключить LLM к продукту или внутреннему сервису уже недостаточно. Нужно ещё понимать, кто и как с ней взаимодействует, какие запросы проходят внутрь системы и какие данные могут выйти наружу.

По сути, Swordfish Security развивает направление прикладной защиты ИИ-систем не на уровне общих разговоров про риски нейросетей, а через инструменты, которые должны встраиваться в реальные корпоративные сценарии.

К слову, команда AM Live провела день в офисе ГК Swordfish Securirty и выяснила, как развивают защиту ИИ уже сейчас и как она будет выглядеть в будущем. Кибербезопасность, разработка и искусственный интеллект; как на самом деле работает команда, которая создаёт продукты в условиях, где ещё нет готовых правил, стандартов и людей.

Подпишитесь на новости

71% россиян удаляют приложение, но оставляют сервису свои данные

Смахнуть приложение со смартфона — ещё не значит стереть аккаунт и переданные сервису данные. Однако каждый четвёртый россиянин уверен именно в этом, показал опрос «АльфаСтрахования». После отказа от цифрового сервиса 71% пользователей просто удаляют его приложение.

До самой учётной записи добираются только 18%, в компанию с требованием стереть информацию обращались 7%, а согласие на обработку персональных данных отзывали жалкие 4%. Остальные, видимо, рассчитывают, что иконка унесла всё с собой.

У 64% респондентов сохранились аккаунты в сервисах, которыми они не пользовались больше года. Почти треть накопила более десяти таких цифровых призраков, а 41% уже не могут вспомнить все сайты и приложения, где когда-либо регистрировались.

Забыть есть что. Номер телефона и электронную почту передавали сервисам более 90% участников исследования, домашний адрес — 78%, реквизиты банковских карт — 72%, дату рождения — 69%. Каждый третий оставлял паспортные данные, 21% — сведения о здоровье, а 18% — документы или информацию о детях.

При этом политику конфиденциальности внимательно читают всего 2% россиян. Ещё 13% просматривают отдельные пункты, а большинство нажимает «Согласен», не тратя время на юридический эпос. Более половины объясняют это объёмом документов, а 48% резонно замечают: без согласия сервис всё равно не пустит дальше.

Больше всего пользователей пугает утечка паспортных и банковских данных, об этом заявили 76% и 73% опрошенных соответственно. В исследовании участвовали 2,5 тыс. экономически активных россиян из разных регионов страны.

RSS: Новости на портале Anti-Malware.ru