Google усиливает меры борьбы с экстремизмом

Google усиливает меры борьбы с экстремизмом

Google усиливает меры борьбы с экстремизмом

Google ужесточает свои меры по блокировке экстремистских и связанных с терроризмом видео на своих площадках. Для этого компания использует сочетание компьютерного и человеческого мониторинга.

Аналогичные меры были обнародованы на прошлой неделе Facebook, по сути, две компании следуют призыву стран Большой семерки, которые заинтересованы в том, чтобы ликвидировать экстремистский контент в сети.

«Несмотря на то, что мы много лет работали над тем, чтобы выявлять и удалять такого рода контент, стоит признать, что можно и нужно делать для этого больше» - говорится в блоге Кента Уокера (Kent Walker), юриста Google.

Уокера сказал, что Google выделит больше ресурсов для искусственного интеллекта, задача которого удалять видеоролики YouTube, используемые в поддержку экстремистских действий.

«Это может быть сложной задачей - видеоролик о террористической атаке может представлять собой новость. Вообще очень много зависит от того, в каком контексте загружен ролик» - сказал Уокер.

Теперь Google планирует применить самые современные исследования в области машинного обучения. Однако, по словам компании, технология сама по себе не может решить эту проблему, в этом случае придется значительно увеличит количество независимых экспертов, отслеживающих загружаемый контент.

«Машины могут помочь выявить проблематичные видеоролики, но эксперты по-прежнему играют определенную роль в тонкой идентификации, что собой представляет ролик – пропаганду насилия или религиозную речь» - продолжает Уокер.

Google планирует добавить 50 неправительственных организаций для фильтрации контента. Аналогичная инициатива была озвучена на прошлой неделе Facebook, которая ранее заявила, что нанимает 3000 сотрудников для отслеживания и удаления видеоматериалов с насилием.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Атака HashJack: ИИ-браузер можно превратить во врага простым знаком

В Cato Networks разработали атаку на ИИ-браузеры, позволяющую манипулировать их выдачей при заходе юзера на легитимный сайт. Достаточно спрятать вредоносную команду в хештеге URL, и умный помощник превратится в орудие зла.

Новый метод непрямой инъекции в промпты, получивший название HashJack, полагается на доверие жертвы и к сайту, с которым она взаимодействует, и к браузерному ИИ-ассистенту.

Примечательно, что атаку в данном случае нельзя обнаружить серверными или сетевыми средствами: хештеги (якорь после знака # в адресе) обрабатываются на стороне клиента.

В рамках HashJack злоумышленник добавляет вредоносный фрагмент к легитимному URL и расшаривает итоговую ссылку через имейл, соцсеть или встраивает в веб-страницу.

Если при переходе по ней визитеру потребуется помощь ИИ, умный браузер включит в ответ результат выполнения скрытых инструкций — к примеру, подсунет рабочую фишинговую ссылку, даст вредный совет, а в агентском режиме может заработать, как бэкдор.

 

Тестирование с использованием различных сценариев проводилось на Copilot for Edge, Gemini for Chrome и Comet. Результаты оказались неутешительными:

 

* Edge выводит диалоговое окно, запрашивая согласие (“gating”) на гейтинг; Chrome зачатую переписывал URL как https://www.google.com/search?q=…, что смягчает, но не устраняет угрозу.

Получив соответствующее уведомление, Google заявила, что исправлять ничего не собирается, так как поведение ИИ-браузера не выходит за рамки допустимого и степень опасности невелика. В Microsoft и Perplexity сочли нужным выпустить фиксы.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru