StegoType: 基于第一人称摄像头的表面打字

文本输入是通用计算系统的关键组件，但在AR和VR中实现高效自然的文本输入仍具挑战性。基于头显的手部追踪在消费级VR设备中已日益普及，为虚拟键盘上的触摸打字提供了可能。我们提出了一种仅使用第一人称摄像头手部追踪作为输入来解码无仪器化平面上触摸打字的方法。虽然第一人称手部追踪准确性受自遮挡和图像质量等因素限制，但研究表明通过使用多样化的手部运动与打字文本配对的训练集，深度学习模型可从噪声输入中提取信号。此外，通过精心设计闭环数据收集过程，可训练端到端文本解码器以适应虚拟键盘上自然的粗糙打字。用户研究(n=18)显示平均在线吞吐量为42.4 WPM，未纠正错误率(UER)为7%，而物理键盘基线为74.5 WPM和0.8% UER，表明在AR/VR中解锁生产力和高吞吐量用例方面取得进展。