Spotify взорвала фейковая рок-группа, созданная искусственным интеллектом

Spotify взорвала фейковая рок-группа, созданная искусственным интеллектом

Spotify взорвала фейковая рок-группа, созданная искусственным интеллектом

На Spotify внезапно выстрелила новая группа под названием The Velvet Sundown. Вроде бы — классический рок, два альбома, третий на подходе, уже полмиллиона слушателей. Только есть один нюанс: похоже, это не настоящая группа, а полностью сгенерированный ИИ-проект.

У The Velvet Sundown вышли два альбома — Floating On Echoes и Dust and Silence. Звук — что-то вроде атмосферного рока с кучей реверберации и автотюна.

В миксе они могут показаться чем-то реальным, но если послушать треки подряд, становится понятно: слишком уж однообразно, слишком «пластиково».

Сомнения у слушателей начали появляться совсем недавно: в соцсетях и на Reddit стали обсуждать, что у группы нет ни одного подтверждённого участника. Четыре имени в описании — и ни одного реального человека. Ни концертов, ни интервью, ни фоток из студии — ничего.

27 июня у The Velvet Sundown появился Instagram (принадлежит Meta, признанной экстремисткой и запрещённой в России), и всё окончательно стало на свои места. Фото «участников группы» — это классика ИИ: идеально гладкие лица, странные детали на заднем плане.

В одном из постов «группа» якобы отмечает успех альбомов в бургерной, но на столе — куча бургеров и напитков, ни одной тарелки, а еда расставлена как попало. И, конечно, всё выглядит немного... не по-настоящему.

Интересно, что это не первый подобный случай. В недавнем выпуске шоу Last Week Tonight Джон Оливер рассказывал об ИИ-группе The Devil Inside, которая за два года выпустила 10 альбомов. И у неё, кстати, тоже частые отсылки к «пыли» и «ветру» — похоже, это побочный эффект музыкальных нейросетей, которые не очень разнообразны в своих темах.

Spotify, похоже, не особо парится по поводу происхождения контента: платформа не требует указывать, создана ли музыка ИИ. На Deezer же у The Velvet Sundown есть сноска:

«Некоторые треки могли быть созданы с использованием искусственного интеллекта».

При этом в описании на Spotify раньше упоминалось, что музыку группы хвалил Billboard — сейчас похвала осталась, а вот упоминание издания исчезло.

Сейчас Instagram (принадлежит Meta, признанной экстремисткой и запрещённой в России) группы завален комментариями, разоблачающими ИИ-происхождение проекта. Но впереди — эпоха, когда различить, человек перед тобой или нейросеть, будет всё сложнее.

ИИ-музыка — это интересная технология. Но важно, чтобы слушатели знали, кто автор: человек с эмоциями и опытом — или машина, которая просто собрала всё по шаблону. И возможно, нам пора задуматься о метках для ИИ-контента не только в изображениях, но и в музыке.

Ранее мы писали об истории с радио CADA в Сиднее, на котором появилась новая музыкальная программа — Workdays with Thy («Трудовые будни с Тай»). Как оказалось, никто даже не заподозрил, что ее ведет диджей, сгенерированный ИИ.

Gemini на Android можно было обмануть через обычное уведомление

Исследователь из SafeBreach Ор Яир нашёл способ атаковать голосового ассистента Google Gemini на Android. Для этого не требовалось устанавливать вредоносное приложение или взламывать смартфон. Достаточно было одного уведомления из WhatsApp, Slack, СМС, Signal, Instagram или Messenger (WhatsApp, Instagram и Messenger принадлежат корпорации Meta, признанной экстремистской и запрещённой в России).

Суть проблемы в том, что Gemini умеет читать уведомления и отвечать на них через функцию Utilities.

Исследователь выяснил, что ассистент мог воспринимать текст уведомления не просто как контекст, а как инструкцию к действию. То есть любой сервис, способный прислать пуш на телефон, превращался в потенциальный канал атаки.

В самом мягком варианте злоумышленник мог заставить Gemini озвучить фейковое сообщение от имени реального контакта. Например, пока человек за рулём и не смотрит на экран, ассистент мог сказать что-то вроде: «начальник просит загрузить документы в эту папку». Звучит как обычное сообщение, а на деле — ловушка.

 

Яир показал, как через подмену контекста можно было обойти защитные проверки Gemini. Ассистент мог вывести на экран реальный запрос на опасное действие на одном языке или спрятать его в ссылке, а вслух произнести безобидную фразу. Пользователь говорит «да», думая, что просто подтверждает обычный диалог, а система засчитывает это как разрешение на действие.

В демонстрациях такой трюк позволял управлять устройствами умного дома через Google Home, открывать ссылки, запускать приложения, отправлять телефон в Zoom-звонок и даже отравлять долговременную память Gemini. Например, ассистент мог запомнить ложный факт о пользователе, и эта информация сохранялась уже на уровне аккаунта.

Исследователь сообщил о проблеме Google ещё 17 августа 2025 года. Корпорация признала её приоритетной и закрыла дыру. Отдельное обновление приложения пользователям устанавливать не нужно.

RSS: Новости на портале Anti-Malware.ru