ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

ИИ помог ученым извлечь звук из фото и немого видео

Метод, разработанный университетскими исследователями, позволяет получать аудиоданные из фотографий и видео, снятого с выключенным микрофоном. Созданный учеными ИИ-инструмент способен даже определить пол комментатора, созерцавшего фотосессию.

Концепция, нареченная Side Eye, предполагает использование стабилизатора изображения и механизма скользящего затвора, присутствующих во встроенных камерах многих современных телефонов. Созданный в ходе исследования инструмент использует средства машинного обучения, и его можно натренировать на аудиозаписях с тем, чтобы он научился распознавать часто употребляемые слова — например, «да» и «нет».

«Представьте себе, что кто-то снимает для TikTok видео, отключив звук, чтобы наложить музыку, — говорит профессор Кевин Фу (Kevin Fu) из Северо-Восточного университета в Бостоне. — А вдруг кому-нибудь захочется узнать, что сказал герой ролика? Вспомнил детский стишок про арбуз или выдал свой пароль? И о чем это шушукаются за его спиной? Все это можно выяснить».

Оказалось, что разговор рядом с объективом камеры вызывает слабые вибрации в стабилизаторе, компенсирующем дрожание рук при съемке. Угол света при этом почти незаметно изменяется.

Извлечь звуковую частоту из этих микровибраций трудно, однако задачу исследователям облегчил эффект скользящего затвора — когда сканирование пикселей происходит построчно, за сотни тысяч прогонов для каждого изображения. Это открывает возможность для детализации изменений, вызванных речью фотографа, его модели или наблюдателя.

По словам исследователей, Side Eye исправно работает даже с материалами, отснятыми при плохом освещении. Не смущают его и неудачные снимки вроде потолка во весь кадр, однако чем больше отображаемой информации, тем лучше.

На выходе вначале получались приглушенные звуки, похожие на человеческую речь. После обучения Side Eye начал извлекать больше полезной информации и стал узнавать людей по голосу — в тех случаях, когда образцы присутствовали в тренировочных наборах данных.

С точки зрения кибербезопасности подобные инструменты составляют потенциальную угрозу, однако их также можно использовать в криминалистике для получения цифровых свидетельств. Так, например, обработанная по методу Side Eye запись с камеры видеонаблюдения сможет подтвердить или опровергнуть алиби подозреваемого в совершении преступления.

Миллионы пользователей браузеров стали жертвами расширений-шпионов

Исследователи из Koi Security рассказали о масштабной кампании с использованием расширений для браузеров, за которой, по их оценке, стоит китайская кибергруппа. Новая операция получила название DarkSpectre и затронула около 2,2 млн пользователей Chrome, Edge и Firefox.

Если учитывать более ранние кампании той же группы — ShadyPanda и GhostPoster, — общее число пострадавших превышает 8,8 млн человек за последние семь лет.

Ранее Koi уже связывала DarkSpectre с ShadyPanda — серией расширений, маскировавшихся под полезные инструменты и занимавшихся кражей данных, подменой поисковых запросов и мошенничеством. Тогда речь шла о 5,6 млн пользователей, включая более 100 расширений, часть из которых «просыпалась» только спустя годы после публикации.

Одно из таких расширений для Edge, например, активировало скрытую логику лишь через три дня после установки — очевидно, чтобы спокойно пройти модерацию в магазине. При этом исследователи обнаружили десятки так называемых «спящих» аддонов: сейчас они ведут себя безобидно, набирают аудиторию и положительные отзывы, но могут получить опасные функции с очередным обновлением.

Вторая кампания, GhostPoster, была в основном нацелена на пользователей Firefox. Под видом утилит и VPN-расширений они внедряли JavaScript-код для подмены партнёрских ссылок, трекинга и рекламных махинаций. Среди находок есть даже расширение «Google Translate» для Opera, набравшее практически миллион установок.

Самая свежая и, пожалуй, самая тревожная часть истории — так называемый Zoom Stealer. Это набор из 18 расширений для Chrome, Edge и Firefox, замаскированных под инструменты для Zoom, Google Meet и GoToWebinar. Их задача — собирать корпоративную информацию: ссылки на встречи (включая пароли), ID конференций, темы, описания, расписание и статус регистрации. Данные передаются в реальном времени через WebSocket-соединения.

Причём на этом сбор не заканчивается. Расширения вытягивают сведения о спикерах и организаторах вебинаров — имена, должности, биографии, фотографии, названия компаний, логотипы и рекламные материалы. Всё это происходит каждый раз, когда пользователь просто заходит на страницу регистрации мероприятия.

По словам исследователей, эти дополнения запрашивают доступ сразу к 28 платформам видеосвязи, включая Zoom, Microsoft Teams, Cisco WebEx и Google Meet — даже если расширению такой доступ вообще не нужен.

 

«Это не потребительское мошенничество, а инфраструктура корпоративного шпионажа, — подчёркивают специалисты Koi Security. — Пользователи действительно получали обещанную функциональность, доверяли расширениям и ставили им высокие оценки. А наблюдение шло тихо и незаметно».

Собранные данные могут использоваться для шпионажа, сложных схем социальной инженерии и масштабных операций по подмене личности. Связь кампаний с Китаем исследователи подтверждают сразу несколькими признаками: использованием серверов Alibaba Cloud, регистрациями в китайских провинциях, фрагментами кода с китайскими комментариями и мошенническими схемами, ориентированными на JD.com и Taobao.

В Koi Security считают, что это далеко не конец истории. По их словам, у DarkSpectre могут уже быть новые расширения, которые пока выглядят полностью легитимными — они «копят доверие» и просто ждут своего часа.

RSS: Новости на портале Anti-Malware.ru