Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Голосовой дипфейк включили через колонку — ИИ-детекторы не сработали

Чем лучше звучит синтетическая речь, тем сложнее отличить её от настоящей. Но теперь выяснилось, что даже хорошо обученные антифейковые модели можно легко обмануть с помощью обычного воспроизведения и повторной записи звука.

В начале июня вышло исследование от команды учёных из Германии, Польши, Румынии и компании Resemble AI, которая, кстати, сама делает голосовой ИИ и детекторы дипфейков. Они показали, как так называемые «replay attacks» (атаки повторным воспроизведением) обманывают системы защиты.

Суть простая: берётся синтетический голос, включается через колонку и записывается заново — уже с искажениями, эхом, шумом комнаты. Для человеческого уха разница минимальна, но для модели это уже почти «настоящий» голос. Вуаля — фейк проходит проверку.

А как это связано с безопасностью?

Сегодня вишинг (это когда звонят и притворяются, скажем, ИТ-специалистом компании) — одна из популярных схем атак. А если ИИ может подделать голос босса или техподдержки, параллельно обойдя защиту, становится страшновато.

Даже если в компании стоит антифрод-система, которая слушает звонки и проверяет голос, — достаточно включить фейковый голос через колонку и перезаписать, чтобы обмануть систему.

Что показали эксперименты?

Исследователи протестировали:

  • 6 разных моделей для распознавания дипфейков (включая W2V2-AASIST и Whisper),
  • 4 синтетических движка,
  • 109 разных связок «колонка + микрофон»,
  • на 6 языках.

И собрали датасет ReplayDF — 132,5 часа переозвученного аудио. Условия — максимально приближены к реальности: шум, искажения, акустика комнаты. И результат:

  • У топовой модели ошибка выросла с 4,7% до 18,2%.
  • Даже если обучать модель заново с учётом акустики — ошибка всё равно 11%.

Почему так? Потому что переозвучка убирает ключевые артефакты, по которым дипфейк можно распознать.

А можно ли защититься?

Учёные попробовали добавить «акустический отпечаток комнаты» (RIR — Room Impulse Response) в обучение моделей. Для этого, например, записывают, как в помещении звучит хлопок или короткий щелчок — это даёт информацию об эхо и реверберации.

С этим подходом точность улучшилась на 10-15%, но полностью проблему он не решает. Replay-атаки всё ещё проходят.

Что в итоге?

ИИ-голоса стали настолько реалистичны, что простые методы защиты больше не спасают. Атака «включил-фейк-записал-заново» уже вполне рабочая. Исследователи выложили свой датасет ReplayDF в открытый доступ — некоммерческое использование разрешено.

Так что теперь у разработчиков защиты от дипфейков есть новая головная боль. А у хакеров — ещё один способ обойти системы безопасности.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Система маркировки Честный знак работает с перебоями

У пользователей системы цифровой маркировки «Честный знак» 30 июля возникли массовые проблемы с доступом. Жалобы варьируются от сильного замедления работы до полной недоступности сайта и мобильного приложения. Сбой затронул пользователей по всей стране и развивается в течение дня.

По данным сервиса Downdetector, резкий всплеск жалоб начался около 11:00 по московскому времени.

Изначально основная масса обращений поступала из восточных регионов, однако к 16:45 центр жалоб сместился в Центральную Россию, а также на Юг и Северный Кавказ. В Сибири, напротив, сервис начал постепенно восстанавливаться.

Пользователи жалуются на неустойчивую работу: «Не проходит проверка марки», «Тайм-аут соединения с системой „Честный знак“ превышен» — такие сообщения появляются на специализированных форумах и в соцсетях. Некоторые также сообщают о полной невозможности открыть сайт или авторизоваться в мобильном приложении.

Во время недавней атаки на аптечную сеть «Столички» и аффилированную с ней «Неофарм» сбой в работе подсистемы проверки отслеживаемости товаров через «Честный знак» привёл к выходу из строя кассовой и учётной систем, в результате чего аптеки были вынуждены временно закрыться.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru