ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

Метод, разработанный университетскими исследователями, позволяет получать аудиоданные из фотографий и видео, снятого с выключенным микрофоном. Созданный учеными ИИ-инструмент способен даже определить пол комментатора, созерцавшего фотосессию.

Концепция, нареченная Side Eye, предполагает использование стабилизатора изображения и механизма скользящего затвора, присутствующих во встроенных камерах многих современных телефонов. Созданный в ходе исследования инструмент использует средства машинного обучения, и его можно натренировать на аудиозаписях с тем, чтобы он научился распознавать часто употребляемые слова — например, «да» и «нет».

«Представьте себе, что кто-то снимает для TikTok видео, отключив звук, чтобы наложить музыку, — говорит профессор Кевин Фу (Kevin Fu) из Северо-Восточного университета в Бостоне. — А вдруг кому-нибудь захочется узнать, что сказал герой ролика? Вспомнил детский стишок про арбуз или выдал свой пароль? И о чем это шушукаются за его спиной? Все это можно выяснить».

Оказалось, что разговор рядом с объективом камеры вызывает слабые вибрации в стабилизаторе, компенсирующем дрожание рук при съемке. Угол света при этом почти незаметно изменяется.

Извлечь звуковую частоту из этих микровибраций трудно, однако задачу исследователям облегчил эффект скользящего затвора — когда сканирование пикселей происходит построчно, за сотни тысяч прогонов для каждого изображения. Это открывает возможность для детализации изменений, вызванных речью фотографа, его модели или наблюдателя.

По словам исследователей, Side Eye исправно работает даже с материалами, отснятыми при плохом освещении. Не смущают его и неудачные снимки вроде потолка во весь кадр, однако чем больше отображаемой информации, тем лучше.

На выходе вначале получались приглушенные звуки, похожие на человеческую речь. После обучения Side Eye начал извлекать больше полезной информации и стал узнавать людей по голосу — в тех случаях, когда образцы присутствовали в тренировочных наборах данных.

С точки зрения кибербезопасности подобные инструменты составляют потенциальную угрозу, однако их также можно использовать в криминалистике для получения цифровых свидетельств. Так, например, обработанная по методу Side Eye запись с камеры видеонаблюдения сможет подтвердить или опровергнуть алиби подозреваемого в совершении преступления.

Треть звонков от организаций не маркируется

Около трети звонков от организаций по-прежнему не маркируются, несмотря на то что соответствующее требование действует с 1 сентября 2025 года. Эксперты связывают это с игнорированием нормы со стороны небольших операторов связи, нерешёнными вопросами оплаты и фактическим отсутствием ответственности за её несоблюдение.

Как пишут «Известия», до трети звонков от компаний остаются анонимными.

По данным источников издания, такие вызовы чаще всего проходят через фиксированные сети небольших операторов, которых в России насчитывается около тысячи. В целом же, отмечают собеседники «Известий», в маркировке звонков не заинтересованы ни сами операторы, ни их корпоративные клиенты. Особенно это касается банков и микрофинансовых организаций.

Как сообщил РБК со ссылкой на источники, с 27 января вся «большая четвёрка» мобильных операторов перестала маркировать звонки от крупнейших банков, включая Сбербанк, ВТБ и Альфа-банк. Причиной, по данным источников на финансовом рынке, стало отсутствие договоров между банками и операторами связи.

«По нашим данным, примерно одна треть от общего количества звонков, поступающих нашим клиентам ежемесячно, не маркируется, — сообщили “Известиям” в “Вымпелкоме” (Билайн). — При этом доля таких вызовов может меняться от месяца к месяцу. Как правило, речь идёт о звонках от компаний финансового сектора и небольших операторов связи».

Официальный представитель Т2 Дарья Колесникова оценила долю немаркированных звонков в 35–40%. По её словам, корпоративные заказчики, особенно из финансового сектора, сферы недвижимости и числа небольших операторов, зачастую не заинтересованы в подключении услуги из-за нежелания оплачивать маркировку.

Источники «Известий» также указывают, что такую позицию усиливает отсутствие прямой ответственности за саботаж маркировки. На эту проблему обращали внимание ещё в феврале 2020 года, когда инициатива только обсуждалась. Тогда Минцифры обещало проработать механизм ответственности, однако соответствующие изменения так и не были реализованы.

Партнёр ComNews Research Леонид Коник напомнил, что в правительственном постановлении, регулирующем маркировку звонков от организаций, прямо не прописан характер договоров между операторами и коммерческими заказчиками — в том числе, должны ли они быть возмездными. По его оценке, сама операция обходится оператору в среднем в 30 копеек за звонок, вне зависимости от того, состоялось соединение или нет. Малые операторы и бизнес-клиенты компенсировать эти расходы, как правило, не готовы.

«Многие компании и индивидуальные предприниматели не заключили со своими операторами договоры на маркировку. Причём зачастую речь идёт вовсе не о мелком бизнесе», — констатирует Леонид Коник.

«Поскольку наибольшую долю среди немаркированных звонков составляют кредитно-финансовые организации, мы ожидаем от Банка России указаний о необходимости обязательной идентификации таких вызовов, — заявила Дарья Колесникова. — Это критически важно, поскольку маркировка не только снижает раздражение абонентов от нежелательных звонков, но и помогает бороться с телефонным мошенничеством».

«В Кодексе об административных правонарушениях необходимо закрепить конкретные меры ответственности за звонки без маркировки. Кроме того, должны быть разработаны документы, чётко регламентирующие оплату этой услуги», — считает генеральный директор TelecomDaily Денис Кусков.

По мнению Дениса Кускова, маркировка звонков — полезный инструмент, который помогает абонентам понять, можно ли доверять вызывающему номеру. При этом он признаёт, что стоимость услуги остаётся ощутимой нагрузкой для бизнес-заказчиков и небольших операторов связи.

RSS: Новости на портале Anti-Malware.ru