ИИ помог ученым извлечь звук из фото и немого видео

Татьяна Никитина 27 Сентября 2023 - 15:22

...

ИИ помог ученым извлечь звук из фото и немого видео

Метод, разработанный университетскими исследователями, позволяет получать аудиоданные из фотографий и видео, снятого с выключенным микрофоном. Созданный учеными ИИ-инструмент способен даже определить пол комментатора, созерцавшего фотосессию.

Концепция, нареченная Side Eye, предполагает использование стабилизатора изображения и механизма скользящего затвора, присутствующих во встроенных камерах многих современных телефонов. Созданный в ходе исследования инструмент использует средства машинного обучения, и его можно натренировать на аудиозаписях с тем, чтобы он научился распознавать часто употребляемые слова — например, «да» и «нет».

«Представьте себе, что кто-то снимает для TikTok видео, отключив звук, чтобы наложить музыку, — говорит профессор Кевин Фу (Kevin Fu) из Северо-Восточного университета в Бостоне. — А вдруг кому-нибудь захочется узнать, что сказал герой ролика? Вспомнил детский стишок про арбуз или выдал свой пароль? И о чем это шушукаются за его спиной? Все это можно выяснить».

Оказалось, что разговор рядом с объективом камеры вызывает слабые вибрации в стабилизаторе, компенсирующем дрожание рук при съемке. Угол света при этом почти незаметно изменяется.

Извлечь звуковую частоту из этих микровибраций трудно, однако задачу исследователям облегчил эффект скользящего затвора — когда сканирование пикселей происходит построчно, за сотни тысяч прогонов для каждого изображения. Это открывает возможность для детализации изменений, вызванных речью фотографа, его модели или наблюдателя.

По словам исследователей, Side Eye исправно работает даже с материалами, отснятыми при плохом освещении. Не смущают его и неудачные снимки вроде потолка во весь кадр, однако чем больше отображаемой информации, тем лучше.

На выходе вначале получались приглушенные звуки, похожие на человеческую речь. После обучения Side Eye начал извлекать больше полезной информации и стал узнавать людей по голосу — в тех случаях, когда образцы присутствовали в тренировочных наборах данных.

С точки зрения кибербезопасности подобные инструменты составляют потенциальную угрозу, однако их также можно использовать в криминалистике для получения цифровых свидетельств. Так, например, обработанная по методу Side Eye запись с камеры видеонаблюдения сможет подтвердить или опровергнуть алиби подозреваемого в совершении преступления.

Следующая главная новость »

Подписывайтесь на канал "AM Live" в Telegram, чтобы первыми узнавать о главных событиях и предстоящих мероприятиях по информационной безопасности.

Екатерина Быстрова 07 Ноября 2025 - 13:23

Общее

Опубликована программа конференции «Совершенно безопасно 3.0: Точка опоры»

Опубликована полная программа конференции «Совершенно безопасно 3.0: Точка опоры», которая пройдёт 12 ноября с 10:00 до 16:30 (МСК). В центре обсуждения — объединение подходов экономической и информационной безопасности, автоматизация, искусственный интеллект и роль человека как ключевого элемента системы защиты.

Откроет конференцию дискуссия «Экономическая и информационная безопасность: синергия защиты или конфликт компетенций».

Участники — Алексей Борисов (Фонд «Сколково»), Виктор Минин (АРСИБ), Вячеслав Гребнев (ГК Гарда), Василий Окулесский (ЦМРБанк) и Юрий Драченин (Контур.Эгида, Staffcop).

Эксперты обсудят, как объединить метрики эффективности ЭБ и ИБ, какие компетенции станут определяющими для специалистов нового поколения и как компании могут решать проблему кадрового дефицита. Модератором выступит независимый эксперт Игорь Бирюков.

Во второй части участники конференции расскажут о практических проектах и технологических изменениях.

Даниил Бориславский (Staffcop) — о том, как автоматизация меняет мышление специалистов и почему человек остаётся центром любой системы безопасности.
Антон Ломовский, Василий Прокопьев и Елена Катаева (Контур.Фокус) — о комплексной проверке контрагентов, выявлении конфликта интересов и примерах снижения бизнес-рисков через автоматизацию.
Никита Габдуллин и Иван Черноскутов (Контур.Фокус) — о переходе проверок контрагентов от простых агрегаторов данных к ИИ-агентам.

Отдельный блок будет посвящён роли человека в безопасности.

Юрий Драченин (Контур.Эгида) объяснит, почему безопасность начинается с сотрудника и как формируется культура доверия.
Евгений Успенский (ДРТ Консалтинг) — о том, как в эпоху ИИ аналитикам помогает критическое мышление.
Никита Лисенков (ICSA) поделится примерами применения Process Mining и Anti-Fraud систем.
Анастасия Федорова (Positive Education) расскажет о развитии киберкомпетенций и формировании устойчивых команд.
Артем Избаенков (ГК Солар) представит доклад «ИИ-боты: новая атака на доверие», где объяснит, как выстраивать цифровой иммунитет организации.

В финале состоится сессия «Безопасность в балансе: находим опорную точку» — о том, как превратить безопасность из контролирующей функции в фактор устойчивого роста бизнеса.

Среди участников — Александра Тихомирова (Абсолют Банк), Наталья Пигарева (независимый эксперт) и другие специалисты.