Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Чем лучше звучит синтетическая речь, тем сложнее отличить её от настоящей. Но теперь выяснилось, что даже хорошо обученные антифейковые модели можно легко обмануть с помощью обычного воспроизведения и повторной записи звука.

В начале июня вышло исследование от команды учёных из Германии, Польши, Румынии и компании Resemble AI, которая, кстати, сама делает голосовой ИИ и детекторы дипфейков. Они показали, как так называемые «replay attacks» (атаки повторным воспроизведением) обманывают системы защиты.

Суть простая: берётся синтетический голос, включается через колонку и записывается заново — уже с искажениями, эхом, шумом комнаты. Для человеческого уха разница минимальна, но для модели это уже почти «настоящий» голос. Вуаля — фейк проходит проверку.

А как это связано с безопасностью?

Сегодня вишинг (это когда звонят и притворяются, скажем, ИТ-специалистом компании) — одна из популярных схем атак. А если ИИ может подделать голос босса или техподдержки, параллельно обойдя защиту, становится страшновато.

Даже если в компании стоит антифрод-система, которая слушает звонки и проверяет голос, — достаточно включить фейковый голос через колонку и перезаписать, чтобы обмануть систему.

Что показали эксперименты?

Исследователи протестировали:

  • 6 разных моделей для распознавания дипфейков (включая W2V2-AASIST и Whisper),
  • 4 синтетических движка,
  • 109 разных связок «колонка + микрофон»,
  • на 6 языках.

И собрали датасет ReplayDF — 132,5 часа переозвученного аудио. Условия — максимально приближены к реальности: шум, искажения, акустика комнаты. И результат:

  • У топовой модели ошибка выросла с 4,7% до 18,2%.
  • Даже если обучать модель заново с учётом акустики — ошибка всё равно 11%.

Почему так? Потому что переозвучка убирает ключевые артефакты, по которым дипфейк можно распознать.

А можно ли защититься?

Учёные попробовали добавить «акустический отпечаток комнаты» (RIR — Room Impulse Response) в обучение моделей. Для этого, например, записывают, как в помещении звучит хлопок или короткий щелчок — это даёт информацию об эхо и реверберации.

С этим подходом точность улучшилась на 10-15%, но полностью проблему он не решает. Replay-атаки всё ещё проходят.

Что в итоге?

ИИ-голоса стали настолько реалистичны, что простые методы защиты больше не спасают. Атака «включил-фейк-записал-заново» уже вполне рабочая. Исследователи выложили свой датасет ReplayDF в открытый доступ — некоммерческое использование разрешено.

Так что теперь у разработчиков защиты от дипфейков есть новая головная боль. А у хакеров — ещё один способ обойти системы безопасности.

Мошенники придумали новый способ обхода антидропперских мер

Злоумышленники нашли новый способ обходить меры по противодействию выводу похищенных средств — через криптовалютные операции. Причём исполнители зачастую даже не подозревают, что участвуют в мошеннической схеме. В отличие от классических сценариев, новая модель не требует передачи банковских карт третьим лицам: владельцы карт выполняют операции с криптовалютой, не осознавая, что тем самым помогают обналичивать украденные деньги.

Вознаграждение за такие операции обычно составляет 1–2% от суммы. О схеме говорится в исследовании компании DLBI по мониторингу даркнета, с результатами которого ознакомились «Известия».

По оценке DLBI, новая схема обладает высокой устойчивостью к банковским антифрод-системам: владелец карты формально осведомлён обо всех транзакциях и доступен для проверок, что снижает подозрительность операций.

Как отмечает руководитель ИТ-подразделения агентства «Полилог», эксперт Регионального общественного центра интернет-технологий (РОЦИТ) Людмила Богатырева, злоумышленники активно перестраивают свои подходы на фоне усиленной борьбы с дропами и дропперством. В частности, такие схемы маскируются под легальные операции по покупке криптовалюты или, наоборот, по её выводу в фиат.

По словам менеджера образовательного проекта Servicepipe Ивана Горячева, масштабы применения этой схемы продолжают расти. Этому способствует её простота, ориентация на массовый «наём» и хорошая масштабируемость через мессенджеры и социальные сети.

Классические схемы с дропами стали для преступников слишком рискованными, дорогими и неудобными из-за криминализации такой деятельности. В результате срок «жизни» дропа, как отмечалось ранее, уже в мае не превышал нескольких дней — ещё на этапе внедрения новых мер. Побочным эффектом этого процесса в июле стал даже коллапс на наркорынке.

При этом и новая схема, по мнению эксперта платформы «Мошеловка», заместителя руководителя проекта «За права заёмщиков» Александры Пожарской, несёт серьёзные юридические риски для участников. Налицо корыстный мотив и действия в интересах третьих лиц, что может повлечь уголовную ответственность. Управляющий партнёр компании «Провъ» Александр Киселёв уточняет, что уже сформировавшаяся судебная практика учитывает осознание преступного характера операций, согласованность действий с организаторами схемы и получение выгоды.

При этом, как подчёркивает эксперт агентства «Цифровые коммуникации» Кирилл Карамзин, классические дропы полностью не исчезли: «Традиционная “аренда” карты на месяц за фиксированную плату никуда не делась. Через карту могут провести, например, 500 тысяч или 1 млн рублей, а затем вернуть её владельцу. Но даже при возврате карты такие действия остаются незаконными».

Глава комитета Госдумы по финансовому рынку Анатолий Аксаков напомнил, что привязка банковских счетов к ИНН направлена в том числе на то, чтобы отличать легальную подработку от мошеннических схем. По его словам, человеку, однажды совершившему сомнительную операцию, не позволят повторить её вновь.

Главный юрист продуктовой группы «Контур.Эгида» и Staffcop Ольга Попова даёт простой совет тем, кто не хочет стать дропом «втёмную»: «Нужно придерживаться одного принципа — всё, что принадлежит вам, должно оставаться только вашим, и никто не имеет права этим пользоваться».

RSS: Новости на портале Anti-Malware.ru