Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google Messages использует маячки из чатов для тренировки ИИ-антиспама

Google доработала защитную функциональность приложения Messages, «родного» мессенджера в мобильной операционной системе Android. Теперь функция обнаружения спама будет опираться в том числе на ИИ, обучающийся на маячках из незашифрованных чатов.

Задача фичи — отсеивать нежелательные или откровенно вредоносные СМС-сообщения. Опция обнаружения спама по умолчанию включена в Google Messages.

В идеале все потенциально опасные сообщения должны складываться в специальную директорию — «Спам», при этом все личные переписки пользователя, по словам разработчиков, не сканируются.

«С активированной функцией обнаружения спама ваши переписки остаются приватными», — гласит официальная документация.

Кроме того, Google добавила в спам-детектор алгоритмы машинного обучения, которые будут выискивать в сообщениях определённые паттерны, потенциально указывающие на спам.

Например, будет проверяться наличие ссылок во входящих СМС-сообщениях. Если таковые имеются, система направит их Google, чтобы убедиться в безвредности. При этом куски подозрительного текста будут расцениваться как «маячки», на которых и обучается ИИ-модель.

В Google подчёркивают, что антиспам будет анализировать текст исключительно в незашифрованных переписках, чтобы ваши личные коммуникации остались нетронутыми.

Растущая мощность ИИ-моделей OpenAI ставит под угрозу кибербезопасность

Компания OpenAI предупреждает, что ее ИИ-модели стремительно расширяют возможности, которые пригодны для нужд киберобороны, но в тоже время повышают риски в случае злоупотребления, и это нельзя не учитывать.

Так, проведенные в прошлом месяце CTF-испытания GPT-5.1-Codex-Max показали результативность 76% — почти в три раза выше, чем GPT-5 на тех же задачах в августе (27%).

Разработчик ожидает, что последующие ИИ-модели продолжат этот тренд, и их можно будет использовать для аудита кодов, патчинга уязвимостей, создания PoC-эксплойтов нулевого дня, а также тестирования готовности организаций к сложным, скрытным целевым атакам.

Во избежание абьюзов OpenAI принимает защитные меры: учит свои творения отвечать отказом на явно вредоносные запросы, мониторит их использование, укрепляет инфраструктуру, применяет EDR и Threat Intelligence, старается снизить риск инсайда, внимательно изучает обратную связь и наладила партнерские связи со специалистами по Red Teaming.

В скором времени компания с той же целью запустит программу доверенного доступа (trusted access), в рамках которой киберзащитники смогут с разной степенью ограничений пользоваться новыми возможностями выпускаемых моделей. В настоящее время их приглашают присоединиться к бета-тестированию ИИ-инструмента выявления / коррекции уязвимостей Aardvark, подав заявку на сайте OpenAI.

Для расширения сотрудничества с опытными специалистами по киберзащите будет создан консультационный Совет по рискам — Frontier Risk Council. Компания также взаимодействует с другими ИИ-исследователями через НКО Frontier Model Forum, работая над созданием моделей угроз и выявлением узких мест, способных создать препятствие ИИ-атакам.

RSS: Новости на портале Anti-Malware.ru