Машинное зрение позволяет шпионить, созерцая пустую стену комнаты

Машинное зрение позволяет шпионить, созерцая пустую стену комнаты

Машинное зрение позволяет шпионить, созерцая пустую стену комнаты

Университетские исследователи разработали методику, позволяющую внешнему наблюдателю с ограниченным обзором узнать, сколько людей в комнате и чем они заняты. Как оказалось, источником информации может стать даже пустая стена, если ты вооружен видеокамерой с высоким разрешением и ИИ-анализатором, умеющим выделять нужный сигнал из шума при еле различимом изменении освещения.

Чтобы доказать такую возможность, в Массачусетском технологическом институте (MIT) провели обучение двух сверточных нейросетей на наборах данных, полученных при проигрывании 20 различных сценариев поведения человека. В итоге исследователям удалось повысить точность прогнозирования до 94%. Результаты работы будут представлены на Международной конференций по машинному зрению (ICCV 2021), которая стартует в понедельник, 11 октября, в режиме онлайн.

«Когда человек ходит по комнате, он частично заслоняет собой свет, и на стенах колышутся легкие, едва различимые тени, — пояснил один из соавторов исследования для Scientific American. — Если одежда яркая, может появиться приглушенный отблеск. Однако эти слабые сигналы обычно тонут в потоке света из основного источника, и при видеонаблюдении этот шум надо как-то убрать, чтобы он не мешал следить за объектом».

Исследователям удалось разделить световой шум и полезную информацию, а также вычленить ложные сигналы — тени от мебели и других неподвижных предметов. При видеосъемке пустых стен комнаты все лишние составляющие отсеивались в реальном времени.

Эксперименты проводились в различных помещениях, с разным числом объектов наблюдения, которые действовали по заданному сценарию, стараясь не попасть в объектив. Отснятые видеоматериалы прогонялись через модель машинного обучения; в итоге система научилась без калибровки уверенно определять количество людей и их активность в любой комнате.

 

При плохом внутреннем освещении или мерцающем свете (такое бывает, когда в комнате включен телевизор) созданная в MIT система работает хуже. К недостаткам можно также отнести тот факт, что для подобного соглядатайства нужна видеокамера с высоким разрешением: обычная цифровая камера создает много фонового шума, а возможности смартфона в этом плане слишком слабы.

Предложенный MIT вариант продвинутой слежки могут по достоинству оценить военные или контрразведка. Исследователи также считают, что их метод можно использовать и в мирных целях — например, для обнаружения пешеходов в местах с плохим обзором (на крытых парковках и автостоянках) или для присмотра за пожилыми людьми, которые могут внезапно почувствовать себя плохо или даже упасть.

Windows хранит скрытые данные о доступе приложений к камере и микрофону

Windows ведёт подробный учёт приложений, которые обращались к камере, микрофону, геолокации и другим возможностям компьютера. В настройках пользователю показывают лишь краткий список недавней активности, а самое интересное система складывает в реестр. Данные находятся в разделе ConsentStore.

Там можно узнать, какое приложение получало доступ к оборудованию, когда именно начался и закончился последний сеанс и сколько времени он продолжался.

Отдельно Windows записывает дату выдачи разрешения и его текущий статус — Allow или Deny.

Правда, просто открыть редактор реестра и почувствовать себя цифровым детективом не получится. Временные метки хранятся в формате FILETIME — в виде количества 100-наносекундных интервалов, прошедших с 1 января 1601 года.

Привести данные в человеческий вид позволяет скрипт PowerShell. Он проверяет разделы ConsentStore, преобразует временные метки и выводит таблицу с названием приложения, типом разрешения, временем последнего обращения и продолжительностью сеанса.

$root = "HKCU:\Software\Microsoft\Windows\CurrentVersion\CapabilityAccessManager\ConsentStore"
$results = Get-ChildItem $root | ForEach-Object {
    $medium = $_.PSChildName
    Get-ChildItem $_.PSPath -Recurse | ForEach-Object {
        $props = Get-ItemProperty $_.PSPath -ErrorAction SilentlyContinue
        if ($props.LastUsedTimeStart -and $props.LastUsedTimeStop -and
$props.LastUsedTimeStart -ne 0) {
            $start   =
[datetime]::FromFileTimeUtc($props.LastUsedTimeStart).ToLocalTime()
            $stop    =
[datetime]::FromFileTimeUtc($props.LastUsedTimeStop).ToLocalTime()
            $granted = if ($props.LastSetTime) {
                [datetime]::FromFileTimeUtc($props.LastSetTime).ToLocalTime()
            } else {
                $null
            }
            [PSCustomObject]@{
                Medium              = $medium
                App                 = $_.PSChildName
                PermissionGrantedOn = $granted
                LastUsedStart       = $start
                LastUsedStop        = $stop
                Duration            = $stop - $start
            }
        }
    }
}

Для проверки системных разрешений потребуется изменить путь с HKCU на HKLM и запустить PowerShell от имени администратора.

У журнала есть важное ограничение: Windows сохраняет только последнее обращение каждого приложения, а не полную историю. Кроме того, дата выдачи разрешения не означает, что именно тогда программа впервые воспользовалась камерой или микрофоном.

Тем не менее проверка способна преподнести сюрпризы. Автор исходного материала, например, обнаружил, что EA Sports FC 26 использовала его микрофон около 40 минут, хотя он не помнил, чтобы разрешал игре это делать.

Если в списке нашлась подозрительная программа, ей можно запретить доступ к соответствующему компоненту или удалить её.

RSS: Новости на портале Anti-Malware.ru