VALL-E от Microsoft имитирует любой голос по трем секундам аудиопримера

VALL-E от Microsoft имитирует любой голос по трем секундам аудиопримера

VALL-E от Microsoft имитирует любой голос по трем секундам аудиопримера

Microsoft презентовала ИИ-модель, способную преобразовать текст в голос, который ей дали послушать всего 3 секунды. Получается очень похоже на оригинал, к тому же VALL-E (именно так назвали программу) умеет копировать интонации и добавлять естественные шумы. В “широкий прокат” VALL-E не пойдет, пока не придумают антипрограмму, способную распознавать робота.

Исследователи компании анонсировали программу VALL-E, которая синтезирует человеческий голос близко к оригиналу. Название сервиса созвучно известному американскому мультфильму про робота ВАЛЛ-И. Он очищал от мусора заброшенную людьми Землю, потом отправился в космос, вернулся и сумел спасти планету.

Для анализа искусственному интеллекту достаточно всего трехсекундного аудиопримера.

Создатели VALL-E говорят, что придумали программу в помощь приложениям, преобразующим текст в речь, когда нужно отредактировать какой-то отрывок в хорошем качестве. В этом случае программа может сымитировать то, что спикер на самом деле не говорил.

В Microsoft VALL-E называют моделью языка нейронного кода. Она построена на технологии EnCodec, которую корпорация Meta (признана экстремистской и запрещена на территории России) анонсировала в минувшем октябре.

В отличие от других методов преобразования текста в речь, которые обычно используют сигналы, VALL-E генерирует дискретные коды аудиокодеков из текстовых и акустических подсказок. Программа анализирует, как “звучит” человек, разбивает эту информацию на отдельные компоненты (“токены”) и учится на этих данных.

“Чтобы синтезировать речь, VALL-E генерирует соответствующие акустические маркеры, взятые из трехсекундного аудиопримера, а также использует фонетические подсказки, которые мог бы использовать человек, если бы отрывок длился дольше, — говорится в анонсе Microsoft. — Сгенерированные акустические маркеры используются для синтеза окончательной формы сигнала с помощью соответствующего декодера нейронного кодека”.

Microsoft уже натренировала VALL-E на тысячах аудиокниг на английском языке. На странице сервиса можно прослушать трехсекундный образец, оригинал и речь от VALL-E.

Некоторые примеры всё ещё напоминают роботизированный голос, но есть и очень похожие на заданную человеческую речь.

Кроме того, VALL-E способна воспроизводить акустическое окружение. Например, синтезировать речь, как будто она звучит из телефонной трубки.

В Microsoft заявили, что понимают риски VALL-E и не будут делиться кодом с другими, пока не придумают детектор, способный отличать сублимированную речь от настоящей.

“Так как VALL-E может синтезировать речь, сохраняющую идентичность спикера, программа может нести потенциальные риски неправильного использования модели”, — признают создатели. Речь идет о подмене голосовой идентификации или выдаче себя за другого человека.

Риски снизит модель, позволяющая найти отличия и определить, был ли аудиоклип синтезирован VALL-E.

Американские ученые в сентябре предложили выявлять голосовые дипфейки с помощью флюидодинамики. В университете Флориды изучили достижения артикуляционной фонетики и разработали новую технику распознавания дипфейк-аудио — по отсутствию ограничений, влияющих на работу голосового аппарата человека. Созданный детектор способен определить подмену с точностью 92,4%.

Добавим, в ноябре Роскомнадзор заинтересовался разработкой НИУ ИТМО в области распознавания лжи по видеозаписи, а аналитики Сбера внесли Deepfake в одну из самых опасных технологий, способных угрожать кибербезопасности в перспективе ближайших пяти лет.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

ИИ пишет коды, как талантливый джуниор, и это подрывает безопасность софта

Как выяснили израильские специалисты, сгенерированные ИИ коды по плотности уязвимостей сравнимы с рукописными творениями, однако содержат структурные изъяны, способные повысить риски для введенных в эксплуатацию систем.

В рамках исследования в OX Security изучили содержимое более 300 репозиториев софта, в том числе 50 проектов, созданных с помощью GitHub Copilot, Cursor или Claude.

Многие сгенерированные ИИ коды выглядели чистыми и функциональными: казалось, умный помощник повел себя как одаренный начинающий программист, к тому же обладающий феноменальным быстродействием.

К сожалению, его участие свело на нет аудит кода, отладку и командный надзор, с которыми современные безопасники и так плохо справляются из-за возросшей нагрузки. Такие корпоративные службы, по данным экспертов, в среднем одновременно обрабатывают по полмиллиона алертов, оценивая степень важности и принимая дополнительные меры защиты.

Применение ИИ ускорило темпы создания софта, однако такие разработчики зачастую развертывают свои программы, не имея представления о защите хранимых данных и доступа, в том числе через интернет. Справедливости ради стоит отметить, что в подобную ловушку может попасть и профессиональный кодер.

«Функциональные приложения теперь можно выкатывать быстрее, но их не успевают тщательно проверять, — комментирует Эяль Пац (Eyal Paz), вице-президент OX Security по исследовательской работе. — Уязвимые системы вводятся в эксплуатацию с беспрецедентной скоростью, однако надлежащий аудит кода невозможно масштабировать до такой степени, чтобы он соответствовал новым темпам».

Суммарно эксперты выявили десять потенциально опасных недостатков, которые часто встречаются в творениях ИИ-помощников программиста:

  • множественные, излишние комментарии в коде, затрудняющие проверку (в 90-100% случаев);
  • фиксация на общепринятых правилах программирования, препятствующая созданию более эффективных и новаторских решений (80–90%);
  • создание одноразовых кодов, без возможности перепрофилирования под иные задачи (80–90%);
  • исключение рефакторинга (80–90%);
  • повторяющиеся баги, которые потом приходится многократно фиксить, из-за невозможности многократного использования кода (70-80%);
  • отсутствие осведомленности о специфике среды развертывания, приводящее к отказу кода, исправно функционирующего на стадии разработки (60-70%);
  • возврат к монолитным, сильно связанным архитектурам вместо уже привычных, удобных в сопровождении микросервисов (40-50%);
  • фейковое покрытие тестами всех интересующих значений — вместо оценки реальной логики ИИ выдает бессмысленные метрики, создающие ложное чувство уверенности в результатах (40-50%);
  • создание кодов с нуля вместо добавления обкатанных библиотек и SDK, что повышает риски привнесения ошибок (40-50%);
  • добавление логики для порожденных галлюцинациями сценариев, повышающее расход ресурсов и снижающее производительность (20-30%).

Поскольку традиционные методы обеспечения безопасности кодов не работают при использовании ИИ, авторы исследования (доступ к полнотекстовому отчету требует регистрации) рекомендуют в таких случаях принять следующие меры:

  • отказаться от аудита кодов и вместо этого привнести аспект безопасности в процесс разработки (подход Secure by Design);
  • перераспределить роли и зоны ответственности — ИИ работает над реализацией, профессионалы концентрируют внимание на архитектуре, контролируют соблюдение требований безопасности, принимают решения по вопросам, требующим опыта и знания контекста;
  • заставить ИИ блюсти интересы безопасности — вставлять соответствующие инструкции в промпты, вводить архитектурные ограничения, интегрировать автоматически выполняемые правила в рабочие процессы, чтобы не пришлось устранять огрехи пост фактум;
  • применять ИИ-средства обеспечения безопасности, сравнимые по быстродействию с такими же помощниками по разработке.

По прогнозу «Монк Дидижтал Лаб», расширение использования генеративного ИИ в российских разработках к концу текущего года приведет к увеличению количества сбоев ИТ-инфраструктуры на 15-20% по сравнению с уровнем 2023-го.

AM LiveПодписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

RSS: Новости на портале Anti-Malware.ru