ControllerPose：使用VR控制器相机进行内向外身体捕捉

文献标题

ControllerPose: Inside-Out Body Capture with VR Controller Cameras

文献信息

• 主题领域: 人机交互 (Human-Computer Interaction)，虚拟现实 (VR)，身体动作捕捉
• 关键词: 虚拟现实, 姿态跟踪, 动作捕捉, 控制器相机, 全身体姿跟踪, 计算机视觉, 深度学习, 用户体验, 摄像头融合, IMU

研究背景与问题

• 问题或挑战:

  1. 当前大多数 VR 系统未能捕捉下半身姿态，导致用户在虚拟环境中只能看到一个空洞或简化的表示（如阴影），降低沉浸感和体现感。
  2. 依赖外部硬件（如佩戴的传感器或固定在环境中的摄像头）的现有解决方案尽管性能优秀，但由于额外的硬件成本和设置复杂性大大降低了用户接受度。
  3. 使用头戴设备上的摄像头解决这一问题时，面临视角受限、遮挡、自我遮挡（如手、衣服等）的问题，尤其随着头戴设备变轻变薄，这些限制可能进一步加剧。

• 重要性:

  1. 改善 VR 用户化身的真实性（包括下半身）有助于增强虚拟体验的沉浸感和互动感。
  2. 寻求更实用、经济的方式将技术结合到现有消费者级 VR 硬件中，能够驱动更广泛的用户采用并拓展应用场景。

• 研究动机与相关工作: 作者指出，现有解决方案（如外部传感器、头戴设备摄像头、穿戴设备等）各有优劣，但尚无简化、集成的方式结合 VR 控制器进行全身捕捉。同时，研究者发现用户在大多数 VR 交互中，手通常处于身体前方，适合捕捉身体图像。这为开发控制器相机提供了动机。

解决方案

• 方法或解决方案: 作者提出一种新的解决方案，将两个鱼眼摄像头集成到 VR 手部控制器中，利用其无线通信、运算能力和电源系统。方法包括：

  1. 摄像头在 VR 交互中大部分时间都能获得用户身体的视角，通过手部控制器捕捉身体姿态。
  2. 使用多相机视图组合、3D 姿态估计、和基于逆运动学的人体模型控制。

• 创新之处:

  1. 不需要额外的传感器或外部硬件，仅通过在现有 VR 控制器中集成摄像头构建解决方案。
  2. 利用鱼眼摄像头提供广视场的用户身体捕捉，提高遮挡情况下的鲁棒性。
  3. 提出了结合 2D 多视图姿态估计和 VR 传感器数据的多模态神经网络，能够估计肢体姿态并支持多种 VR 动作。

• 实施步骤与关键技术:

  1. 硬件系统： 在 Oculus Quest 2 控制器上安装两个鱼眼摄像头，设置无线数据传输。
  2. 数据处理管线：捕捉视频输入，合成图像并校正鱼眼失真，投影并拼接成全景图。
  3. 姿态估计：
     • 使用 OpenPose 提取 2D 关键点数据。
     • 将 2D 数据与头显和控制器的 IMU 数据结合，输入多输入神经网络，预测 17 个关节的 3D 姿态。
  4. 用户交互与评估：最终输出姿态通过逆运动学控制动画化身，并对实验进行性能评估。

研究成果

• 具体成果:

  1. 提出的系统实现了全身体姿捕捉，3D 关节点的平均欧氏误差为 6.98 cm。
  2. 该方法在很多典型 VR 动作（如走路、踢球和下蹲等）中表现良好，验证了其实用性。

• 与现有解决方案比较的优势:

  1. 相较于头戴摄像头方式，控制器的摄像头视角更少受身体遮挡限制，特别是下半身。
  2. 不需要额外硬件，完全利用现有 VR 生态中的控制器，成本低、设置简单。
  3. 数据输入结合了摄像头视图与 IMU 数据，进一步提高了精确性和鲁棒性。

• 实验或评估结果:

  1. 用户实验显示该系统能够在多种体态下捕捉精确动作，尤其对下半身姿态帮助显著。
  2. 在恶劣场景（如衣物遮挡、光照不足）中，虽然偶有错误，但是相较于常见的 3D 人体估计模型（例如 CenterHMR）的误差（24.6 cm）要低得多。
  3. 动态性能上仍需优化，目前管线处理速度为 7.2 FPS，总延迟约为 297 毫秒。

• 局限性与未来方向:

  1. 遮挡问题: 当手臂放置在身体侧面或衣物遮挡身体时，姿态推断会失败，需要加入更多的摄像头（如控制器底部）。
  2. 环境限制: 强光、阴影和复杂背景会影响精度，可考虑未来改进。
  3. 性能优化: 系统目前是概念验证形式，需优化处理速度和实时性以符合商业 VR 系统要求。
  4. 扩展功能: 可以与头戴设备摄像头融合，增强上半身跟踪能力；或者集合智能手表等其他可穿戴设备进一步提高鲁棒性。

总结

通过在 VR 控制器中集成摄像头，作者为下半身动作捕捉提供了新解决方案，既提高了沉浸感，也降低了成本和复杂性。尽管当前存在性能的限制，但其潜在应用前景广阔，未来的优化和扩展将使这一技术在 VR 游戏、社交互动和健康应用中起到重要作用。