Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google доработала защитную функциональность приложения Messages, «родного» мессенджера в мобильной операционной системе Android. Теперь функция обнаружения спама будет опираться в том числе на ИИ, обучающийся на маячках из незашифрованных чатов.

Задача фичи — отсеивать нежелательные или откровенно вредоносные СМС-сообщения. Опция обнаружения спама по умолчанию включена в Google Messages.

В идеале все потенциально опасные сообщения должны складываться в специальную директорию — «Спам», при этом все личные переписки пользователя, по словам разработчиков, не сканируются.

«С активированной функцией обнаружения спама ваши переписки остаются приватными», — гласит официальная документация.

Кроме того, Google добавила в спам-детектор алгоритмы машинного обучения, которые будут выискивать в сообщениях определённые паттерны, потенциально указывающие на спам.

Например, будет проверяться наличие ссылок во входящих СМС-сообщениях. Если таковые имеются, система направит их Google, чтобы убедиться в безвредности. При этом куски подозрительного текста будут расцениваться как «маячки», на которых и обучается ИИ-модель.

В Google подчёркивают, что антиспам будет анализировать текст исключительно в незашифрованных переписках, чтобы ваши личные коммуникации остались нетронутыми.

Сторонние Android-приложения получат доступ к системе сканирования контента

Google разрабатывает общедоступный Android API, с помощью которого сторонние приложения смогут проверять изображения и другие файлы на устройстве и классифицировать их по уровню безопасности. В основе механизма лежит идея SafetyCore — системного компонента, который уже размывает интимные изображения в Google Messages.

ContentSafetyManager сможет принимать изображения, необработанные файлы и другие типы мультимедиа.

После анализа система присвоит контенту один из четырёх статусов: разрешён, требует предупреждения, заблокирован или не классифицирован. Приложение затем само решит, показать изображение, размыть его или спрятать.

Обработка должна выполняться локально (без отправки фотографий на серверы Google). При этом сам API не даёт приложению доступа ко всей галерее: соответствующие разрешения всё равно придётся получить отдельно.


Именно здесь начинается неприятная часть. Эксперты опасаются, что вредоносная программа с избыточными правами сможет прогонять через классификатор большие объёмы пользовательских файлов, составлять профили владельцев или использовать результаты анализа не по назначению. Google рекомендует разработчикам запрашивать только минимально необходимые разрешения.


Сам SafetyCore ранее вызвал скандал из-за автоматической установки без явного согласия пользователей и отсутствия обычного ярлыка. Компонент скачали более миллиарда раз, а некоторые владельцы Android устанавливают специальную заглушку, чтобы Play Store не мог вернуть его после удаления.


Google обещает локальную обработку и конфиденциальность. Пользователи задают логичный вопрос: если всё настолько безопасно, почему приложение сначала появилось на смартфоне, а объяснения — потом?

RSS: Новости на портале Anti-Malware.ru