从手部追踪解码表面触屏打字

视频

DOI

我们提出了一种新颖的文本解码方法，使在未 instrumented 平面上进行触屏打字成为可能。我们的方法不依赖物理键盘或电容感应，而是将打字者的手部运动（通过手部追踪获取）作为输入，直接将这些运动解码为文本。我们使用时间卷积网络来表示运动模型，将手部运动（表示为一系列手部姿态特征）映射到文本字符。为实现无需物理键盘触觉反馈的触屏打字，我们必须解决手指漂移导致的更不规则的打字运动。因此，我们引入语言模型作为文本先验，并使用束搜索有效地结合运动模型和语言模型，以从不规则或模糊的手部运动中解码文本。我们收集了20名触屏打字者的数据集，并在多个基线上评估了我们的模型，包括基于接触的文本解码和在物理键盘上打字。我们提出的方法能够利用连续手部姿态信息比基于接触的方法更准确地解码文本，离线研究显示与物理键盘打字相当（73 WPM，2.38% UER）。我们的结果表明，手部追踪有潜力在移动环境中实现快速文本输入。