Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google доработала защитную функциональность приложения Messages, «родного» мессенджера в мобильной операционной системе Android. Теперь функция обнаружения спама будет опираться в том числе на ИИ, обучающийся на маячках из незашифрованных чатов.

Задача фичи — отсеивать нежелательные или откровенно вредоносные СМС-сообщения. Опция обнаружения спама по умолчанию включена в Google Messages.

В идеале все потенциально опасные сообщения должны складываться в специальную директорию — «Спам», при этом все личные переписки пользователя, по словам разработчиков, не сканируются.

«С активированной функцией обнаружения спама ваши переписки остаются приватными», — гласит официальная документация.

Кроме того, Google добавила в спам-детектор алгоритмы машинного обучения, которые будут выискивать в сообщениях определённые паттерны, потенциально указывающие на спам.

Например, будет проверяться наличие ссылок во входящих СМС-сообщениях. Если таковые имеются, система направит их Google, чтобы убедиться в безвредности. При этом куски подозрительного текста будут расцениваться как «маячки», на которых и обучается ИИ-модель.

В Google подчёркивают, что антиспам будет анализировать текст исключительно в незашифрованных переписках, чтобы ваши личные коммуникации остались нетронутыми.

Нейросеть с сюрпризом: AppSec.Track проверит модели из Hugging

Скачал ML-модель из публичного репозитория — получил чужой код в корпоративной инфраструктуре. AppSec Solutions решила прикрыть эту дверь и добавила в платформу AppSec.Track проверку моделей из Hugging Face до их загрузки на рабочие станции разработчиков и в CI/CD-конвейеры.

При запросе через корпоративный репозиторий модель автоматически отправляется в «карантин» — изолированную среду, где её содержимое анализируется без запуска.

После проверки платформа выносит вердикт: можно ли пропускать файл внутрь корпоративного контура или лучше оставить его за дверью.

Особое внимание — сериализованным моделям в формате pickle. При загрузке они могут выполнять произвольный код, поэтому одного заражённого файла достаточно, чтобы злоумышленник получил доступ к среде разработки. Обычный сканер зависимостей такой сюрприз способен пропустить: опасный код спрятан внутри модели, а не среди подключённых пакетов.

В AppSec Solutions считают безопасной альтернативой формат safetensors, который не предусматривает хранение исполняемого кода. Но пока публичные хабы забиты моделями в pickle, предварительная проверка остаётся обязательной остановкой перед въездом в инфраструктуру.

AppSec.Track также анализирует библиотеки и зависимости из PyPI, npm, Maven, NuGet и специализированных ML-репозиториев. На этапе сборки платформа формирует SBOM и сверяет компоненты с собственной базой уязвимостей. Саму модель после проверки на входе повторно не сканируют, а её окружение контролируют уже через SBOM.

Ранее платформа получила интеграцию с MCP. Теперь ИИ-ассистенты разработчиков могут напрямую запрашивать проверку сторонних open-source-компонентов, искать уязвимости, несуществующие и опасные пакеты.

По заявлению компании, AppSec.Track стал первым российским решением для предварительного анализа моделей из Hugging Face.

RSS: Новости на портале Anti-Malware.ru