Video2MR：通过增强从2D视频提取的动作自动生成混合现实3D指令

DOI

本文介绍Video2MR，这是一个从2D视频自动生成3D体育和健身指令的混合现实系统。混合现实指令在体育训练中具有巨大潜力，但现有工作需要大量时间和成本来创建这些3D体验。Video2MR通过将任意在线教学视频转换为具有AI动作捕捉（DeepMotion）的MR 3D化身来克服这一限制。随后，它通过以下增强技术自动增强化身动作：1）对比并突出用户与化身姿态之间的差异，2）可视化特定身体部位的关键轨迹和运动，3）使用身体运动操控时间和速度，4）为不同视角空间重新定位化身。我们在Hololens 2和Azure Kinect上开发，展示了各种用例，包括瑜伽、舞蹈、网球和其他体育运动。研究结果证实，与现有的2D视频指令相比，Video2MR提供了更具吸引力和趣味性的学习体验。