Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google доработала защитную функциональность приложения Messages, «родного» мессенджера в мобильной операционной системе Android. Теперь функция обнаружения спама будет опираться в том числе на ИИ, обучающийся на маячках из незашифрованных чатов.

Задача фичи — отсеивать нежелательные или откровенно вредоносные СМС-сообщения. Опция обнаружения спама по умолчанию включена в Google Messages.

В идеале все потенциально опасные сообщения должны складываться в специальную директорию — «Спам», при этом все личные переписки пользователя, по словам разработчиков, не сканируются.

«С активированной функцией обнаружения спама ваши переписки остаются приватными», — гласит официальная документация.

Кроме того, Google добавила в спам-детектор алгоритмы машинного обучения, которые будут выискивать в сообщениях определённые паттерны, потенциально указывающие на спам.

Например, будет проверяться наличие ссылок во входящих СМС-сообщениях. Если таковые имеются, система направит их Google, чтобы убедиться в безвредности. При этом куски подозрительного текста будут расцениваться как «маячки», на которых и обучается ИИ-модель.

В Google подчёркивают, что антиспам будет анализировать текст исключительно в незашифрованных переписках, чтобы ваши личные коммуникации остались нетронутыми.

Claude освободил 700 ГБ, удалив домашнюю папку разработчика

Разработчик Себастьен Гиймо поручил ИИ-агенту Claude написать скрипт для очистки временных файлов. Бот справился слишком эффективно: удалил домашний каталог пользователя вместе с 700 ГБ данных и результатами недельной работы, но предусмотрительно оставил папку /tmp, ради которой всё и затевалось.

Гиймо регулярно запускает ИИ-агентов, которые оставляют после себя множество временных файлов.

Он попросил модель Claude Fable создать отдельную песочницу для каждого агента в /tmp и очищать её после завершения работы, не затрагивая используемые данные.

Первая версия скрипта показалась разработчику слишком сложной. Из-за наличия команд безвозвратного удаления Claude запустил дополнительную проверку безопасности. Система Anthropic сочла задачу рискованной и автоматически понизила модель сначала до Opus 5, а затем до Opus 4.8.


Новая модель написала тест, который сравнивал цели удаления с /tmp и домашним каталогом пользователя. Обе директории были правильно признаны опасными. А затем начался этап очистки тестовых данных, и Claude повторно использовал ту же переменную, в которой находился путь к домашней папке.

Гиймо остановил процесс, но слишком поздно: агент успел удалить 700 ГБ. Большую часть информации разработчик восстановил из Git, конфигурации Nix, журналов сессий и других источников. Однако недельная работа всё же пострадала.

Разработчик предполагает, что автоматический переход на менее сильную модель мог повысить риск ошибки. Более производительная Fable 5, возможно, заметила бы конфликт переменных.

RSS: Новости на портале Anti-Malware.ru