Google усиливает меры борьбы с экстремизмом

Google усиливает меры борьбы с экстремизмом

Google усиливает меры борьбы с экстремизмом

Google ужесточает свои меры по блокировке экстремистских и связанных с терроризмом видео на своих площадках. Для этого компания использует сочетание компьютерного и человеческого мониторинга.

Аналогичные меры были обнародованы на прошлой неделе Facebook, по сути, две компании следуют призыву стран Большой семерки, которые заинтересованы в том, чтобы ликвидировать экстремистский контент в сети.

«Несмотря на то, что мы много лет работали над тем, чтобы выявлять и удалять такого рода контент, стоит признать, что можно и нужно делать для этого больше» - говорится в блоге Кента Уокера (Kent Walker), юриста Google.

Уокера сказал, что Google выделит больше ресурсов для искусственного интеллекта, задача которого удалять видеоролики YouTube, используемые в поддержку экстремистских действий.

«Это может быть сложной задачей - видеоролик о террористической атаке может представлять собой новость. Вообще очень много зависит от того, в каком контексте загружен ролик» - сказал Уокер.

Теперь Google планирует применить самые современные исследования в области машинного обучения. Однако, по словам компании, технология сама по себе не может решить эту проблему, в этом случае придется значительно увеличит количество независимых экспертов, отслеживающих загружаемый контент.

«Машины могут помочь выявить проблематичные видеоролики, но эксперты по-прежнему играют определенную роль в тонкой идентификации, что собой представляет ролик – пропаганду насилия или религиозную речь» - продолжает Уокер.

Google планирует добавить 50 неправительственных организаций для фильтрации контента. Аналогичная инициатива была озвучена на прошлой неделе Facebook, которая ранее заявила, что нанимает 3000 сотрудников для отслеживания и удаления видеоматериалов с насилием.

В OpenClaw нашли опасный сценарий незаметной утечки данных

Специалисты нашли проблемы у ИИ-агента OpenClaw: китайский центр реагирования на компьютерные инциденты CNCERT указал на слабые настройки безопасности по умолчанию и риски инъекции промпта, когда внешнее содержимое незаметно подсовывает агенту вредоносные инструкции.

Но самое неприятное в этой истории даже не сама по себе «путаница» модели, а то, во что она может превратиться на практике.

Исследователи показали сценарий, при котором обычная работа ИИ-агента превращается в незаметный канал утечки данных, причём безо всяких кликов со стороны пользователя.

Схема выглядит так: злоумышленник прячет вредоносные инструкции в веб-странице или во внешнем контенте, который OpenClaw должен прочитать. Агент обрабатывает этот текст и под его влиянием формирует ссылку, в адрес которой уже встроены конфиденциальные данные — например, фрагменты информации, к которым у него есть доступ.

Дальше происходит самое коварное. Если OpenClaw отправляет такую ссылку пользователю через Telegram, Discord или другой мессенджер, сама платформа может автоматически создать предпросмотр ссылки, а это уже вызывает фоновый запрос к серверу атакующего.

В итоге злоумышленник получает данные просто из логов своего сервера без нажатия на ссылку, без дополнительного действия и вообще почти без шума. Именно поэтому история выглядит особенно серьёзно: проблема лежит не только в модели, а в архитектуре всего окружения.

OpenClaw ценят за то, что он умеет читать локальные файлы, выполнять задачи и работать с разными сервисами. Но ровно эта же полезность делает компрометацию куда болезненнее: если агенту дали широкий доступ, то и последствия инъекции промпта становятся вполне реальными.

CNCERT как раз предупреждал, что при неправильной установке и избыточных правах OpenClaw может создавать серьёзные риски для безопасности и данных. На этом фоне власти Китая уже начали ограничивать использование OpenClaw в ряде чувствительных сред, включая государственные системы и отдельные организации.

RSS: Новости на портале Anti-Malware.ru