В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

В Reddit без спросу обкатали психологическое воздействие с помощью ИИ

Модераторы подфорума Change My View («Измени мое мнение», CMV) в Reddit направили жалобу в Цюрихский университет: группа исследователей тайно провела эксперимент с ИИ, в котором невольно приняло участие все сообщество.

ИИ-модель два месяца вбрасывала провокационные комментарии в ветку; ученые таким образом проверяли ее умение убеждать. По окончании эксперимента они соблаговолили поставить модераторов в известность и сознались в нарушении правил CMV (там запрещено использовать боты и ИИ).

Для публикации реплик исследователи создали ряд вымышленных персонажей — жертв насилия, консультантов-психологов, противников сектантства и протестных движений. Некоторые фейковые аккаунты админы Reddit выловили и забанили за нарушение пользовательского соглашения.

Сами исследователи, по их словам, комментарии не постили, только вручную проверяли каждую реплику ИИ на предмет потенциально вредного контента. Для персонализации реплик другая ИИ-модель собирала в Reddit пользовательские данные, такие как пол, возраст, этническая принадлежность, местоположение, политические взгляды.

Согласия «подопытных кроликов» при этом никто не спрашивал — для чистоты эксперимента.

Получив разъяснительное письмо, модераторы CMV направили в университет официальную жалобу, предложив публично извиниться за неэтичное поведение исследователей и отказаться от публикации результатов эксперимента.

В ответ на претензии представитель вуза заявил, что научному руководителю ИИ-проекта объявлен выговор. Также будут приняты меры, чтобы подобного не повторилось, но отменять публикацию никто не собирается: результаты проделанной работы важны для науки, а вред от эксперимента минимален.

И претензии, и реакция учебного заведения были опубликованы в CMV. Пользователи до сих пор комментируют этот пост, высказывая свое возмущение.

Gemini на Android можно было обмануть через обычное уведомление

Исследователь из SafeBreach Ор Яир нашёл способ атаковать голосового ассистента Google Gemini на Android. Для этого не требовалось устанавливать вредоносное приложение или взламывать смартфон. Достаточно было одного уведомления из WhatsApp, Slack, СМС, Signal, Instagram или Messenger (WhatsApp, Instagram и Messenger принадлежат корпорации Meta, признанной экстремистской и запрещённой в России).

Суть проблемы в том, что Gemini умеет читать уведомления и отвечать на них через функцию Utilities.

Исследователь выяснил, что ассистент мог воспринимать текст уведомления не просто как контекст, а как инструкцию к действию. То есть любой сервис, способный прислать пуш на телефон, превращался в потенциальный канал атаки.

В самом мягком варианте злоумышленник мог заставить Gemini озвучить фейковое сообщение от имени реального контакта. Например, пока человек за рулём и не смотрит на экран, ассистент мог сказать что-то вроде: «начальник просит загрузить документы в эту папку». Звучит как обычное сообщение, а на деле — ловушка.

 

Яир показал, как через подмену контекста можно было обойти защитные проверки Gemini. Ассистент мог вывести на экран реальный запрос на опасное действие на одном языке или спрятать его в ссылке, а вслух произнести безобидную фразу. Пользователь говорит «да», думая, что просто подтверждает обычный диалог, а система засчитывает это как разрешение на действие.

В демонстрациях такой трюк позволял управлять устройствами умного дома через Google Home, открывать ссылки, запускать приложения, отправлять телефон в Zoom-звонок и даже отравлять долговременную память Gemini. Например, ассистент мог запомнить ложный факт о пользователе, и эта информация сохранялась уже на уровне аккаунта.

Исследователь сообщил о проблеме Google ещё 17 августа 2025 года. Корпорация признала её приоритетной и закрыла дыру. Отдельное обновление приложения пользователям устанавливать не нужно.

RSS: Новости на портале Anti-Malware.ru