AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions разработала ИИ-файрвол для защиты LLM-систем

AppSec Solutions сообщила о разработке ИИ-файрвола — продукта для защиты систем с искусственным интеллектом и фильтрации запросов к большим языковым моделям. Разработкой занималась команда AppSec Solutions, входящая в группу компаний.

Решение ориентировано на компании, которые уже используют LLM в бизнес-процессах или только планируют внедрять нейросети.

Основная задача ИИ-файрвола — проверять входящие запросы и снижать риски, связанные с небезопасным использованием моделей.

Такие инструменты становятся всё актуальнее по мере того, как ИИ-сервисы начинают работать с корпоративными данными, внутренними системами и пользовательскими обращениями. Среди типичных рисков — инъекции в промпты, попытки обойти ограничения модели, утечки чувствительной информации и нежелательная генерация ответов.

Swordfish Security уже занимается темой безопасности ИИ. Ранее компания подготовила общедоступный фреймворк безопасности ИИ, с помощью которого организации могут оценивать зрелость и защищённость систем с применением нейросетей. Заявляется, что он адаптирует международный опыт к российскому законодательству и локальной практике.

Появление ИИ-файрвола выглядит логичным продолжением этой работы. Рынок постепенно приходит к простой мысли: подключить LLM к продукту или внутреннему сервису уже недостаточно. Нужно ещё понимать, кто и как с ней взаимодействует, какие запросы проходят внутрь системы и какие данные могут выйти наружу.

По сути, Swordfish Security развивает направление прикладной защиты ИИ-систем не на уровне общих разговоров про риски нейросетей, а через инструменты, которые должны встраиваться в реальные корпоративные сценарии.

К слову, команда AM Live провела день в офисе ГК Swordfish Securirty и выяснила, как развивают защиту ИИ уже сейчас и как она будет выглядеть в будущем. Кибербезопасность, разработка и искусственный интеллект; как на самом деле работает команда, которая создаёт продукты в условиях, где ещё нет готовых правил, стандартов и людей.

Roblox может вернуться в Россию после договорённостей с Минцифры

Похоже, Roblox получил шанс официально вернуться в российскую повестку. Минцифры сообщило, что достигло договорённостей с компанией по вопросам защиты несовершеннолетних пользователей и соблюдения требований российского законодательства.

Как заявили в министерстве, переговоры с оператором популярной игровой платформы завершились в начале июня.

Российская сторона указала на проблемы с действующими механизмами модерации и защиты детей. По данным Минцифры, существующие меры не всегда эффективно препятствовали распространению материалов, связанных с пропагандой суицидального поведения, употребления наркотиков и вовлечением несовершеннолетних в противоправную деятельность.

После консультаций Roblox предоставила гарантии внедрения дополнительных мер защиты пользователей.

Одним из ключевых изменений станет запуск возрастного разделения контента. Уже в июне на платформе должны появиться режимы Roblox Kids и Roblox Select, которые позволят ограничивать доступ к играм в зависимости от возраста пользователя.

Кроме того, компания подтвердила обязательства по борьбе с вредоносным и нежелательным контентом, который может негативно влиять на здоровье и развитие детей.

В Минцифры подчеркнули, что поддерживают работу зарубежных цифровых платформ в России при условии соблюдения требований законодательства. По словам представителей ведомства, аналогичный диалог ведётся и с другими иностранными сервисами.

На фоне достигнутых договорённостей Минцифры и Роскомнадзор уже обратились в соответствующие правоохранительные органы с просьбой поддержать снятие ограничений на доступ к Roblox на территории России.

Фактически речь идёт о своеобразной сделке: платформа усиливает контроль за детским контентом и вводит новые возрастные ограничения, а российская сторона готова рассмотреть смягчение действующих ограничительных мер.

Если процесс пойдёт по заявленному сценарию, то миллионы российских игроков могут получить более стабильный доступ к одной из крупнейших игровых платформ мира. А сама история станет редким примером того, как зарубежный цифровой сервис и российские регуляторы смогли договориться без громких конфликтов и многолетних судебных разбирательств.

RSS: Новости на портале Anti-Malware.ru