ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

Метод, разработанный университетскими исследователями, позволяет получать аудиоданные из фотографий и видео, снятого с выключенным микрофоном. Созданный учеными ИИ-инструмент способен даже определить пол комментатора, созерцавшего фотосессию.

Концепция, нареченная Side Eye, предполагает использование стабилизатора изображения и механизма скользящего затвора, присутствующих во встроенных камерах многих современных телефонов. Созданный в ходе исследования инструмент использует средства машинного обучения, и его можно натренировать на аудиозаписях с тем, чтобы он научился распознавать часто употребляемые слова — например, «да» и «нет».

«Представьте себе, что кто-то снимает для TikTok видео, отключив звук, чтобы наложить музыку, — говорит профессор Кевин Фу (Kevin Fu) из Северо-Восточного университета в Бостоне. — А вдруг кому-нибудь захочется узнать, что сказал герой ролика? Вспомнил детский стишок про арбуз или выдал свой пароль? И о чем это шушукаются за его спиной? Все это можно выяснить».

Оказалось, что разговор рядом с объективом камеры вызывает слабые вибрации в стабилизаторе, компенсирующем дрожание рук при съемке. Угол света при этом почти незаметно изменяется.

Извлечь звуковую частоту из этих микровибраций трудно, однако задачу исследователям облегчил эффект скользящего затвора — когда сканирование пикселей происходит построчно, за сотни тысяч прогонов для каждого изображения. Это открывает возможность для детализации изменений, вызванных речью фотографа, его модели или наблюдателя.

По словам исследователей, Side Eye исправно работает даже с материалами, отснятыми при плохом освещении. Не смущают его и неудачные снимки вроде потолка во весь кадр, однако чем больше отображаемой информации, тем лучше.

На выходе вначале получались приглушенные звуки, похожие на человеческую речь. После обучения Side Eye начал извлекать больше полезной информации и стал узнавать людей по голосу — в тех случаях, когда образцы присутствовали в тренировочных наборах данных.

С точки зрения кибербезопасности подобные инструменты составляют потенциальную угрозу, однако их также можно использовать в криминалистике для получения цифровых свидетельств. Так, например, обработанная по методу Side Eye запись с камеры видеонаблюдения сможет подтвердить или опровергнуть алиби подозреваемого в совершении преступления.

6 млн атак в день и ИИ-мошенники: итоги форума «АнтиФрод Россия»

11 декабря 2025 года в Москве прошёл ежегодный форум «АнтиФрод Россия» — одна из ключевых отраслевых площадок, где обсуждают борьбу с мошенничеством в цифровой среде. Мероприятие прошло при участии Совета Федерации, Госдумы, Банка России, Генпрокуратуры, Следственного комитета, МВД и Минцифры и собрало более 600 участников — от банков и финтеха до телекома, ретейла, промышленности и госсектора.

Главной темой форума стал человеческий фактор. Эксперты сошлись во мнении, что при всей развитости технических средств защиты именно социальная инженерия и психологическое давление сегодня остаются главным оружием мошенников.

Замглавы Минцифры Олег Качанов привёл показательные цифры: ежедневно фиксируется около шести миллионов попыток мошеннического воздействия, и примерно тысяча из них оказывается успешной. По его словам, на результат влияют самые разные факторы — от времени суток до эмоционального состояния человека.

 

Отдельный акцент участники дискуссий сделали на росте персонализации атак и использовании искусственного интеллекта для создания поддельного контента. Эти инструменты, по мнению экспертов, требуют принципиально новых подходов к защите как бизнеса, так и обычных пользователей.

Заместитель руководителя Главного управления криминалистики Следственного комитета Иван Стрельцов прямо назвал ИИ одной из главных угроз сегодняшнего дня: преступления всё чаще совершаются с использованием его возможностей.

Одним из самых заметных событий форума стало антипленарное заседание с участием российских знаменитостей. Его модерировала телеведущая Ольга Лисакова, а личные истории гостей наглядно показали, насколько изощрёнными стали мошеннические схемы.

Так, Родион Газманов рассказал, как купил билет в театр за 7 тысяч рублей на сайте, ссылку на который прислала новая знакомая. Билет так и не пришёл, а «служба поддержки» тут же попросила данные карты — сайт оказался поддельным.

 

Надежда Ручка призналась, что назвала код банковской карты «курьеру с цветами». От серьёзных потерь её спасла привычка держать на карте минимум средств — после покупок там оставалось всего 70 рублей.

Актриса Александра Черкасова стала жертвой сложной многоходовой схемы с подменой голоса известного режиссёра и сильным психологическим давлением. Мошенники, угрожая проблемами с законом и оперируя данными о её семье, убедили её перевести 1 млн рублей и оформить кредит ещё на 800 тысяч.

Лариса Вербицкая рассказала, что пошла на контакт с людьми, представившимися сотрудниками банка, услугами которого она давно пользовалась. Заподозрив неладное, она сама связалась с банком, счета были оперативно заблокированы, а ущерб удалось компенсировать.

Помимо дискуссий, на форуме работала выставочная зона, где участники обсуждали реальные кейсы внедрения антифрод-решений и возможные сценарии их развития.

 

В завершение мероприятия организаторы анонсировали открытие предварительной регистрации на форум «АнтиФрод Россия 2026», который запланирован на 10 декабря 2026 года.

RSS: Новости на портале Anti-Malware.ru