Motion-Touch：基于运动学的自适应切换通过目标预测增强虚拟手选择

文献标题

Motion-Touch: Kinematic-based Adaptive Switch for Enhancing Virtual-Hand Selection with Target Prediction in AR/VR

出版信息

• 主题领域: AR/VR中的虚拟手选择技术，重点关注速度与准确性之间的权衡。
• 关键词: 虚拟手、AR/VR交互、目标预测、基于运动学的自适应开关、机器学习、速度-准确性权衡、错误缓解、用户体验、深度学习、交互设计。

背景与问题

• 问题/挑战: 虚拟手选择技术面临固有的速度与准确性权衡，现有方法引入了延迟、错误或交互中断。预测模型虽有潜力，但在动态和复杂环境中存在固有的不准确性。
• 重要性: 解决这些限制对于提高AR/VR界面的可用性和效率至关重要，从而实现虚拟环境中的无缝、直观交互。
• 动机与相关研究: 以往方法包括空间耦合、停留时间、基于手势的触发以及预测模型。这些方法虽然提高了准确性或速度，但也带来了延迟、不稳定性或依赖固定运动假设等缺点。基于机器学习的预测模型已被探索，但由于固有错误以及与动态用户行为缺乏整合，在虚拟手交互中仍未充分利用。

解决方案

• 提出的方法: Motion-Touch，一种虚拟手选择技术，结合基于Transformer的目标预测模型与基于运动学的自适应开关（KBAS），根据用户运动阶段动态调节触发状态。
• 创新点:
  1. 将基于运动学的自适应开关与机器学习结合以缓解错误。
  2. 使用Transformer编码器基于手部运动学进行实时目标预测。
  3. 根据目标难度动态调整开关状态的阈值。
  4. 在密集和复杂的AR/VR场景中验证该方法。
• 流程与关键技术:
  • 通过HMD传感器收集手部运动学数据。
  • Transformer编码器利用位置、方向、速度和加速度等特征预测指尖位置，提前10帧。
  • KBAS根据速度、加速度和方向偏差动态切换非触发（弹道阶段）和触发（修正阶段）状态。
  • 使用大津算法校准KBAS的经验阈值，并根据目标大小动态调整。

结果

• 具体发现:
  • Motion-Touch实现了触发时间<0.1秒，错误率<1%。
  • 在高难度任务中表现优于Magic-Tap和Clicker（比Clicker快15.68%）。
  • 保持低错误率（二维网格任务中为0.17%；三维货架任务中为0.87%）。
• 相较基线的优势:
  • 与Magic-Tap和Clicker相比，触发时间更快，吞吐量更高。
  • 错误率与Clicker和Magic-Tap相当，但在复杂条件下效率更高。
  • 用户体验评分在效率、刺激性和创新性等属性上表现优异。
• 实验/评估:
  • 研究一：使用20名参与者的手部运动数据进行模型训练；验证特征选择和模型性能（Transformer编码器将预测误差降低至47.1mm）。
  • 研究二：在九个难度指数（ID）任务中比较Motion-Touch与Magic-Tap和Clicker；评估任务完成时间、错误率、吞吐量和触发时间等指标。
  • 现实场景：在密集二维网格和复杂三维货架环境中测试Motion-Touch，12名参与者参与；展示了高精度和容错能力。
• 局限性与未来工作:
  • 模型对每次选择独立处理，缺乏连续任务的序列预测。
  • 固定滑动窗口大小可能限制适应性；未来工作将探索动态窗口机制。
  • 仅在右手参与者中测试；计划包括左手用户以及眼动等多模态输入以增强预测。

总结

Motion-Touch通过将基于运动学的自适应开关与机器学习相结合，解决了AR/VR虚拟手选择技术中的速度与准确性权衡问题。通过根据用户运动阶段动态调节触发状态，该技术缓解了预测错误，并在速度、准确性和用户体验方面相比现有技术（如Magic-Tap和Clicker）表现出色。跨多样任务和现实场景的实验验证了其效率、可靠性和在复杂环境中的适用性。未来工作将致力于优化序列预测模型，扩展多模态输入，并探索更广泛的交互设计。