Cloud.ru открыл код фильтра, который не отдаст пароли и ПДн нейросети

Cloud.ru открыл код фильтра, который не отдаст пароли и ПДн нейросети

Cloud.ru открыл код фильтра, который не отдаст пароли и ПДн нейросети

Cloud.ru открыл исходный код Guardrails Filter — инструмента, который не даёт пользователям случайно скормить языковой модели персональные данные, пароли, API-ключи и другие корпоративные секреты. Компании смогут бесплатно развернуть сервис в собственной инфраструктуре и подключить его к моделям любых провайдеров.

Guardrails Filter встаёт между корпоративным приложением и нейросетью. Перед отправкой запроса он ищет конфиденциальную информацию и заменяет её синтетическими значениями.

Когда модель формирует ответ, сервис возвращает исходные данные на место. В итоге пользователь получает нормальный результат, а условный «пароль_от_прода» не отправляется неизвестно куда вместе с просьбой составить отчёт.

Инструмент уже применяется в среде AI Factory для защиты запросов к сервису Foundation Models, а также в клиентских и внутренних проектах Cloud.ru. Открытая версия не привязана к облачной платформе компании и может работать внутри закрытого ИТ-контура.

Пользователям доступны готовые правила обнаружения конфиденциальной информации. Можно создавать и собственные — например, для номеров договоров, идентификаторов клиентов или кодовых названий проектов. Управление осуществляется через личный кабинет: там разрешается настраивать и тестировать правила, просматривать журналы и отслеживать предупреждения.

В Guardrails Filter также есть Ghost Mode. Он позволяет проверить, какие данные сервис стал бы блокировать, но пока не вмешиваться в реальный трафик. Удобный режим для тех, кто не хочет включать защиту рубильником и затем выяснять, почему половина запросов внезапно исчезла.

На публичном бенчмарке pii-bench инструмент получил 93,1 балла по метрике F1. Заявленная точность срабатываний достигла 99,9% — примерно 999 из 1000 обнаружений должны быть верными.

Исходный код версий Standalone и ExtProc опубликован на GitHub и GitVerse. Теперь защищать корпоративные данные от слишком любознательных нейросетей можно собственными силами и заодно проверить, что именно происходит под капотом.

Подпишитесь на новости

Подросток месяцами обсуждал суицид с ИИ Google, школьная защита запоздала

Школьный ноутбук, ИИ в поисковике и система мониторинга — внушительный набор технологий, который всё равно не обеспечил своевременную помощь ребёнку. Родители 13-летней девочки из Северной Каролины подали иск против Google и Alphabet. Они утверждают, что общение с ИИ через школьный Chromebook способствовало развитию у дочери суицидального кризиса.

Как рассказывает WIRED, девочка месяцами обсуждала с ИИ депрессию и самоубийство.

Школьная система мониторинга неделями не поднимала тревогу. Когда уведомление наконец появилось, оно попало бывшему школьному консультанту, который переслал его действующим сотрудникам. После этого вмешалась мать.

По данным Reuters, родители узнали о происходящем после того, как защитное ПО пометило документ с планами похорон. В иске также утверждается, что бот помогал девочке скрывать своё состояние от близких.

По мнению родителей, Google встроила ИИ в привычные продукты, не предупредив школы и семьи о рисках.

Google заявила, что изучает иск. Корпорация добра подчёркивает, что работала с медицинскими специалистами и экспертами над защитными функциями, которые должны направлять молодых пользователей к реальной помощи.

RSS: Новости на портале Anti-Malware.ru