TouchInsight：基于自我中心视觉的混合现实不确定性感知的快速触摸与文本输入

视频

DOI

虽然被动表面为混合现实交互提供了众多好处，但仅从头戴式摄像头可靠地检测触摸输入一直是一个长期挑战。摄像头特性、手部自遮挡以及头部和手指的快速移动都带来了关于触摸事件确切位置的相当大的不确定性。因此，现有方法无法实现稳健交互所需的性能。本文提出了一种实时管道，可仅基于自我中心手部追踪从任何物理表面检测所有十根手指的触摸输入。我们的方法TouchInsight包含一个神经网络，用于预测触摸事件的时刻、接触的手指以及触摸位置。TouchInsight通过双变量高斯分布表示位置，以考虑由于感知不准确而导致的不确定性，我们通过上下文先验来解决这个问题，以准确推断用户intended输入。我们首先进行了离线评估，发现它以6.3毫米的平均误差定位输入事件，并准确检测触摸事件（F1=0.99）和识别使用的手指（F1=0.96）。在在线评估中，我们展示了这种方法对灵巧触摸输入核心应用的有效性：双手文本输入。在我们的研究中，参与者平均每分钟输入37.0个单词，未纠正错误率为2.9%。