如此可预测！虚拟现实中连续 3D 手部轨迹预测

视频

DOI

我们为虚拟现实（VR）中连续预测弹道手部运动贡献了一种新的与用户和活动无关的基于运动学的回归模型。与之前关于端点预测的工作相比，VR 中的连续手部轨迹预测能够更早地估计未来事件，例如用户手部与虚拟对象（如 UI 小部件）之间的碰撞。我们通过一项包含 20 名参与者的用户研究开发和验证了我们的预测模型。该研究通过 3D 指向任务和三个流行 VR 游戏收集了手部运动数据。结果表明，我们的模型可以在所有用户和活动中分别从未来 100ms、200ms 和 300ms 的手部位置实现低均方根误差（RMSE）分别为 0.80 cm、0.85 cm 和 3.15 cm。在指向任务中，当用户完成 50% 和 70% 的运动时，我们的预测模型分别实现了 4.0° 和 1.5° 的平均角度误差。后续研究表明，该模型可以应用于新用户和新活动，无需进一步训练。