Машинное зрение позволяет шпионить, созерцая пустую стену комнаты

Университетские исследователи разработали методику, позволяющую внешнему наблюдателю с ограниченным обзором узнать, сколько людей в комнате и чем они заняты. Как оказалось, источником информации может стать даже пустая стена, если ты вооружен видеокамерой с высоким разрешением и ИИ-анализатором, умеющим выделять нужный сигнал из шума при еле различимом изменении освещения.

Чтобы доказать такую возможность, в Массачусетском технологическом институте (MIT) провели обучение двух сверточных нейросетей на наборах данных, полученных при проигрывании 20 различных сценариев поведения человека. В итоге исследователям удалось повысить точность прогнозирования до 94%. Результаты работы будут представлены на Международной конференций по машинному зрению (ICCV 2021), которая стартует в понедельник, 11 октября, в режиме онлайн.

«Когда человек ходит по комнате, он частично заслоняет собой свет, и на стенах колышутся легкие, едва различимые тени, — пояснил один из соавторов исследования для Scientific American. — Если одежда яркая, может появиться приглушенный отблеск. Однако эти слабые сигналы обычно тонут в потоке света из основного источника, и при видеонаблюдении этот шум надо как-то убрать, чтобы он не мешал следить за объектом».

Исследователям удалось разделить световой шум и полезную информацию, а также вычленить ложные сигналы — тени от мебели и других неподвижных предметов. При видеосъемке пустых стен комнаты все лишние составляющие отсеивались в реальном времени.

Эксперименты проводились в различных помещениях, с разным числом объектов наблюдения, которые действовали по заданному сценарию, стараясь не попасть в объектив. Отснятые видеоматериалы прогонялись через модель машинного обучения; в итоге система научилась без калибровки уверенно определять количество людей и их активность в любой комнате.

При плохом внутреннем освещении или мерцающем свете (такое бывает, когда в комнате включен телевизор) созданная в MIT система работает хуже. К недостаткам можно также отнести тот факт, что для подобного соглядатайства нужна видеокамера с высоким разрешением: обычная цифровая камера создает много фонового шума, а возможности смартфона в этом плане слишком слабы.

Предложенный MIT вариант продвинутой слежки могут по достоинству оценить военные или контрразведка. Исследователи также считают, что их метод можно использовать и в мирных целях — например, для обнаружения пешеходов в местах с плохим обзором (на крытых парковках и автостоянках) или для присмотра за пожилыми людьми, которые могут внезапно почувствовать себя плохо или даже упасть.