Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Чем лучше звучит синтетическая речь, тем сложнее отличить её от настоящей. Но теперь выяснилось, что даже хорошо обученные антифейковые модели можно легко обмануть с помощью обычного воспроизведения и повторной записи звука.

В начале июня вышло исследование от команды учёных из Германии, Польши, Румынии и компании Resemble AI, которая, кстати, сама делает голосовой ИИ и детекторы дипфейков. Они показали, как так называемые «replay attacks» (атаки повторным воспроизведением) обманывают системы защиты.

Суть простая: берётся синтетический голос, включается через колонку и записывается заново — уже с искажениями, эхом, шумом комнаты. Для человеческого уха разница минимальна, но для модели это уже почти «настоящий» голос. Вуаля — фейк проходит проверку.

А как это связано с безопасностью?

Сегодня вишинг (это когда звонят и притворяются, скажем, ИТ-специалистом компании) — одна из популярных схем атак. А если ИИ может подделать голос босса или техподдержки, параллельно обойдя защиту, становится страшновато.

Даже если в компании стоит антифрод-система, которая слушает звонки и проверяет голос, — достаточно включить фейковый голос через колонку и перезаписать, чтобы обмануть систему.

Что показали эксперименты?

Исследователи протестировали:

  • 6 разных моделей для распознавания дипфейков (включая W2V2-AASIST и Whisper),
  • 4 синтетических движка,
  • 109 разных связок «колонка + микрофон»,
  • на 6 языках.

И собрали датасет ReplayDF — 132,5 часа переозвученного аудио. Условия — максимально приближены к реальности: шум, искажения, акустика комнаты. И результат:

  • У топовой модели ошибка выросла с 4,7% до 18,2%.
  • Даже если обучать модель заново с учётом акустики — ошибка всё равно 11%.

Почему так? Потому что переозвучка убирает ключевые артефакты, по которым дипфейк можно распознать.

А можно ли защититься?

Учёные попробовали добавить «акустический отпечаток комнаты» (RIR — Room Impulse Response) в обучение моделей. Для этого, например, записывают, как в помещении звучит хлопок или короткий щелчок — это даёт информацию об эхо и реверберации.

С этим подходом точность улучшилась на 10-15%, но полностью проблему он не решает. Replay-атаки всё ещё проходят.

Что в итоге?

ИИ-голоса стали настолько реалистичны, что простые методы защиты больше не спасают. Атака «включил-фейк-записал-заново» уже вполне рабочая. Исследователи выложили свой датасет ReplayDF в открытый доступ — некоммерческое использование разрешено.

Так что теперь у разработчиков защиты от дипфейков есть новая головная боль. А у хакеров — ещё один способ обойти системы безопасности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Мошенники стали в 16 раз чаще звонить с поддельных номеров из-за рубежа

За последнюю неделю количество фейковых звонков с иностранных номеров в Россию выросло в 16 раз. Об этом рассказали в Сбере. Всплеск удалось заметить в том числе благодаря пользователям, которые отправляли жалобы через раздел «Сообщи о мошеннике» в приложении СберБанк Онлайн.

Такие звонки — не новость: злоумышленники давно используют облачные АТС, где можно быстро взять в аренду номер с кодом другой страны.

Чаще всего — европейских. Иногда — стран с «похожими» номерами (например, +84 95), чтобы выглядело более правдоподобно. Всё это делается через IP-телефонию, что позволяет обходиться без операторов сотовой связи и затрудняет блокировку.

Зампред правления Сбера Станислав Кузнецов отметил, что несмотря на резкий рост таких звонков, в общем объёме мошеннических вызовов их пока немного. Антифрод-система банка их фиксирует и ставит подозрительные операции на усиленный контроль — благодаря этому удаётся избегать хищений.

Но в банке всё равно призывают не терять бдительность:

«Если вам звонят с незнакомого номера из-за границы — просто не отвечайте. Если у вас нет родных или деловых контактов за рубежом, то такие звонки почти наверняка мошеннические».

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru