iText：面向增强现实系统的免手部虚拟键盘文本输入技术

文献标题

iText：一种用于增强现实系统的虚拟键盘无手输入技术

文献信息

• 主题领域: 增强现实（AR）中的人机交互与文本输入技术
• 关键词: 文本输入，无手输入，眼动，停留时间，增强现实，头戴式显示器，虚拟键盘

研究背景与问题

• 发现的问题或挑战:

  • 现有AR头戴式显示设备（HMD）中的文本输入技术通常依赖于中空手势，这容易导致手臂疲劳。
  • 小型透明显示屏会导致视觉遮挡问题，使用户无法清晰地观察环境中其他虚拟或真实的物体。
  • 当前基于中空可见键盘的文本输入技术在日常使用场景中适用性较差，缺乏自然的可操作性。

• 问题的重要性:

  • 高效、便捷的文本输入对于AR系统的广泛普及至关重要，特别是在人机交互中，需要一种既能解决手臂疲劳又能保持环境可视性的解决方案。

• 研究动机与相关工作:

  • 文本输入是AR应用场景中的重要功能，但现有技术未能充分解决无手输入和视野阻碍问题。
  • 相关研究表明，虚拟键盘（例如“不可见”的键盘）和眼动输入在特定条件下具有高效性和可靠性，但尚未被系统地应用于AR设备中。

解决方案

• 提出的解决方案:

  • 开发了一种名为iText的文本输入技术，这是一种基于“虚拟（不可见）键盘”的无手输入技术，适用于AR HMD设备。
  • 提出了三种不同的输入机制：基于眼动的E-Type（眼动式），基于停留时间的D-Type（停留式），以及基于头部手势的G-Type（手势式）。

• 创新之处:

  • 结合虚拟键盘使用户无需可见键盘即可准确地回忆和选择键位，实现无手、无视觉遮挡的文本输入。
  • 系统采集用户的交互数据，并使用统计解码算法进行文本预测，进一步提高文本输入效率与准确性。

• 实施步骤与关键技术:

  1. 虚拟键盘设计: 在用户视野中显示一个1米处的40 x 20 cm虚拟键盘，仅透明度为30%，隐藏键位，但标识空格键、删除键等。
  2. 三种输入机制:
     • E-Type: 通过用户的双眼眨动来触发字符选择，避免误选。
     • D-Type: 通过停留时间（600毫秒）选择字符，增加可视化的圆形进度条和声音反馈。
     • G-Type: 用户以头动轨迹画出字符手势并完成选择。
  3. 统计解码器设计: 利用统计模型推测用户选择的最可能字符和单词，结合语言模型提升预测的准确率。

研究成果

• 具体成果:

  • 用户能够在AR虚拟键盘上以无手方式高效输入文本。
  • 三种输入机制的平均每分钟文本输入速度分别为：E-Type（13.76 WPM在长期测试中）、D-Type（9.03 WPM）和G-Type（9.84 WPM）。
  • 在长期测试中E-Type的平均文本错误率仅为1.5%，用户眼部疲劳程度较低。

• 与现有解决方案相比的优势:

  • iText同时解决了现有AR文本输入技术中的手臂疲劳和视觉遮挡问题。
  • 支持用户在占用双手或动态环境中（如行走、听讲）高效输入文本。

• 实验与评估结果:

  • 第一项用户研究表明，使用虚拟键盘的用户能够成功回忆键位位置并进行无手输入。
  • 第二项用户研究评估了三种输入技术的性能和用户体验，其中E-Type表现明显优于其他两种机制。
  • 第三项长期研究显示，用户在仅使用E-Type的条件下，能够在5天内显著提高输入速度，同时保持低误差率和低眼部疲劳。

• 局限性与未来方向:

  1. 键盘尺寸的变化对输入性能的影响尚未全面评估；未来工作可对不同键盘设计进行测试。
  2. 当前实验背景为控制的实验室环境，实际使用中的各种环境背景可能对输入性能有影响。
  3. 当前设备（HoloLens 2）的视野范围有限，提升设备显示能力或未来技术迭代或可进一步优化虚拟键盘设计。

潜在应用场景

• 在用户双手占用的情况下，例如行走过程中实时输入信息，iText减少了视觉遮挡问题。
• 课堂或会议中，在不影响视野的情况下，快速获取关键词的定义或注释。
• 在VR游戏场景中，用户可以保持游戏不中断而快速回复消息。