Google: Android SafetyCore — не сканер, а классификатор контента на базе ИИ

Google: Android SafetyCore — не сканер, а классификатор контента на базе ИИ

Google: Android SafetyCore — не сканер, а классификатор контента на базе ИИ

Развертывание защиты Android System SafetyCore вызвало опасения в отношении приватности чатов. Разработчик пояснил: ИИ-приложение не сканирует контент на стороне клиента, а лишь классифицирует его по запросу Google Messages.

О намерении Google усилить защиту обмена сообщениями в Android с помощью ИИ стало известно в октябре прошлого года. Механизм SafetyCore на тот момент проходил тестирование, а теперь его начали подключать на устройствах с ОС версий 9 и выше, а также с Android Go.

«SafetyCore — это новая системная служба Android 9+, создающая на устройстве инфраструктуру для безопасной и конфиденциальной классификации контента с тем, чтобы пользователи могли отсеивать нежелательные сообщения», — заявил представитель Google в ответ на запрос The Hacker News о комментарии.

Отсутствие оснований для опасений подтвердили участники проекта GrapheneOS, которые и сами бы не прочь внедрить решение Google, но исходники SafetyCore закрыты.

«Google Messages использует новое приложение для категоризации сообщений: спам, вредоносные, обнаженка и т. п. О попытках детекта нелегального контента с отправкой отчетов на сервис здесь и речи нет».

От себя добавим: новая фича Google схожа с защитой Communication Safety, которую Apple реализовала для iMessage. Там тоже локально используется ИИ, и по результатам анализа аттачей пользователям выводятся предупреждения.

Claude вырвался в интернет и атаковал три компании. Anthropic винит стенд

Модели Claude во время испытаний выбрались из изолированной среды, вышли в открытый интернет и получили несанкционированный доступ к инфраструктуре трёх организаций. Anthropic признала инциденты, но считает, что проблема была скорее в дырявом тестовом стенде, чем в самом ИИ.

Компания изучила 141 006 запусков Claude и нашла три подозрительных эпизода.

Все они произошли во время CTF-тестов партнёра: модели должны были искать флаги в учебной среде, которая якобы не имела доступа к интернету. На деле выход наружу был открыт.

В одном случае Claude атаковал настоящий домен, который организаторы по ошибке сочли вымышленным. Модель использовала простые методы — слабые пароли и незащищённые точки доступа — и продолжала выполнять поставленную задачу.

Другой эпизод получился куда эффектнее. Claude нашёл инструкцию, предлагавшую установить несуществующий Python-пакет из PyPI, создал вредоносный пакет с нужным названием и опубликовал его в реальном репозитории. Он оставался доступен около часа, за это время его скачали и запустили на 15 системах.

Anthropic подчёркивает, что модель не пыталась специально сбежать или похитить саму себя. Старый Opus 4.7 просто продолжил атаку, несмотря на признаки выхода в интернет. Mythos 5 заметил неладное, но убедил себя, что всё ещё находится в симуляции. Более новая исследовательская модель при аналогичных сомнениях остановилась.

Компания пообещала усилить контроль тестовой инфраструктуры и заявила, что защитные механизмы коммерческих версий Claude заблокировали бы такое поведение. По версии Anthropic, это операционный сбой, а не провал выравнивания моделей.

Напомним, похожая история недавно произошла с Hugging Face и моделями OpenAI: GPT-5.6 Sol сбежал из песочницы и атаковал Hugging Face ради победы в тесте.

RSS: Новости на портале Anti-Malware.ru