HybridTrak：使用现成的网络摄像头为VR添加全身追踪

文献标题

HybridTrak: Adding Full-Body Tracking to VR Using an Of-the-Shelf Webcam

文献信息

• 主题领域: 虚拟现实，全身追踪，计算机视觉
• 关键词: 全身追踪, 虚拟现实, 计算机视觉, 混合追踪, 深度学习, RGB摄像头, 姿势估计, SteamVR, 用户研究, 机器学习

研究背景与问题

• 发现问题: 当前的虚拟现实设备主要集中在头部和手部追踪，无法有效支持全身追踪。传统的全身追踪系统需要复杂的环境设置（如外部摄像头和标记点），而现有的上半身追踪通过佩戴摄像头实现，但对下半身的追踪效果很差。
• 重要性: 全身追踪可以提高虚拟现实中的存在感，支持通过身体姿势的互动，并增强用户之间的社交表达能力。
• 研究动机与相关工作:
  • 当前的全身追踪解决方案要么需要笨重的硬件，要么需要昂贵的RGBD相机，并且还需额外的校准。
  • 研究已经表明，基于用户头部佩戴摄像头的上半身追踪（Inside-out tracking）因遮挡问题不能提供良好的下半身追踪效果。
  • 本文提出了一种结合非校准外部RGB摄像头和内置上半身追踪的混合系统，弥补现有技术的缺点。

解决方案

• 方法: 提出了一种名为HybridTrak的新系统，该系统结合非校准RGB摄像头的2D全身姿势和内置VR系统的上半身3D位置数据，通过深度学习神经网络生成一致的3D全身追踪结果。
• 创新点:
  1. 使用单个RGB摄像头和已有的上半身追踪系统提供高精度全身追踪。
  2. 引入全神经网络，将2D摄像头数据和3D上半身数据融合，生成稳定的3D姿势。
  3. 直接生成与SteamVR完全兼容的腰部和足部追踪数据。
• 实施步骤:
  1. 数据输入: 提取RGB摄像头生成的2D姿势和头戴式显示设备提供的上半身3D位置数据。
  2. 深度学习转换: 通过一个姿势转换神经网络，将2D输入和3D输入映射到虚拟现实的3D坐标下。
  3. 虚拟设备仿真: 使用SteamVR驱动模拟出腰部和双足的虚拟追踪点，使现有支持全身追踪的VR应用可以即插即用地使用该系统。
  4. 训练过程: 在Human3.6m和MPI-INF-3DHP数据集上对神经网络进行训练，使用合成数据增强模型性能。

研究成果

• 具体成果:
  1. 在Human3.6m和MPI-INF-3DHP数据集上，HybridTrak在关节位置误差(MPJPE)和角度误差(MPJRE)上均优于使用RGBD相机的基线方法。
     • HybridTrak的MPJPE为0.098米，而RGBD相机基线为0.136米。
     • HybridTrak的MPJRE为0.282弧度，而RGBD相机基线为0.609弧度。
  2. 用户研究显示，与KinectToVR和仅上半身追踪相比，HybridTrak生成的姿势更准确、更自然。
     • 实验中，用户在HybridTrak条件下对姿势的正确识别率达到99%，显著高于其他方法。
     • 用户使用7点Likert量表评价姿势的自然度和过渡的平滑性，HybridTrak获得明显更高的评分。
  3. 提出的全神经网络方法在计算成本和鲁棒性上优于基于变换矩阵的HybridTrak-transform方法。
• 系统优势:
  • 与大多数现有的基于RGB或RGBD追踪的算法相比，HybridTrak能够以更少的硬件和更低的资源开销提供更高的精度。
  • 系统无需校准，可即插即用，特别适合于普通消费者。
  • 解决了身体遮挡问题，尤其是在虚拟环境中上下半身的遮挡状况显著不同的问题。
• 实验结果:
  • 定量：在MPI-INF-3DHP数据集上，HybridTrak方法的MPJPE显著优于VNect算法（0.138米对0.455米）。
  • 定性：用户对HybridTrak生成的姿态评价一致较高，表示其自然且易识别。
• 局限性与未来方向:
  1. 局限性:
     • 当前系统需要单独的GPU处理2D姿势估计。
     • 模型使用的训练数据集中骨骼大小有限，可能对极端体型用户不够友好。
     • 一些复杂姿势（如交叉腿部动作）在输出结果中尚未完全解决。
  2. 未来方向:
     • 可以通过众包或生成合成数据集进一步扩大训练数据集的多样性。
     • 结合深度相机信息，或优化2D姿势检测，使系统在低配置硬件上也能运行。
     • 为特定VR应用开发专用HybridTrak模型，提高特定场景中的精度和实时性。