MonoEye: 使用单超广角鱼眼摄像头的多模态人体动作捕捉系统

视频

DOI

我们提出MonoEye，一个使用佩戴于用户胸部的单RGB超广角鱼眼摄像头的多模态人体动作捕捉系统。现有光学动作捕捉系统使用多台同步摄像机，需要摄像机校准，且存在限制用户移动和操作空间的使用性约束。由于MonoEye系统基于可穿戴单RGB摄像头，佩戴者的3D身体姿态可在无空间和环境限制的情况下被捕获。我们系统的身体姿态感知摄像机朝向，因此能够识别现有第一人称动作捕捉系统无法识别的各种运动。此外，所提出的系统不仅捕获佩戴者的身体运动，还通过头部姿态估计和超广角图像捕获其视野。为了实现稳健的多模态动作捕捉，我们设计三个深度神经网络：BodyPoseNet、HeadPoseNet和CameraPoseNet，分别实时估计3D身体姿态、头部姿态和摄像机姿态。我们使用新的大规模合成数据集训练这些网络，提供68万帧不同体型、服装、动作、背景和光照条件的人物渲染图像。为了展示MonoEye系统的交互潜力，我们展示了从常见身体手势到上下文感知交互的多个应用示例。