STAR：增强现实中类智能手机的文本输入方法

文献标题

STAR: Smartphone-analogous Typing in Augmented Reality

文献信息

• 主题领域: 增强现实 (AR) 中的文本输入技术
• 关键词: 增强现实, 文本输入, 智能手机输入, 头戴显示设备, QWERTY键盘

研究背景与问题

• 发现的问题或挑战: 虽然文本输入在增强现实 (AR) 应用中是一个核心且频繁的任务，但设计一种高效且易用的文本输入方法仍是未解决的挑战。现有的裸手 AR 文本输入技术（如空中手势输入、眼球输入、指尖触控等）通常缺乏物理表面提供的触觉反馈，且用户对这些技术较为陌生。
• 重要性: 随着AR硬件的发展，为AR环境提供高效的文本输入方法对于增强其应用场景（如远程办公、教育和医疗）至关重要。解决上述问题将显著增强用户体验。
• 研究动机与相关工作:
  • 智能手机的两拇指输入被用户广泛熟悉且速度较快。
  • 现有技术的缺陷包括缺乏触觉反馈和用户疲惫问题。
  • 作者旨在研究如何将智能手机两拇指输入技能转移到AR裸手输入环境中。

解决方案

• 提出的方法或解决方案:
  • 作者提出一种新的AR文本输入技术——STAR（Smartphone-analogous Typing in Augmented Reality），该技术通过将两拇指输入技能转移到AR环境下，弥补现有输入技术的缺陷。
  • 用户通过佩戴头戴式显示设备 (HMD) 在手的皮肤上显示一个虚拟 QWERTY 键盘进行输入，利用手指触碰皮肤提供触觉反馈。
  • 该解决方案支持用户随意切换任务，通过手部“指节姿势”启动或关闭键盘。
• 创新之处:
  • 利用用户熟悉的智能手机的两拇指输入技能，减少学习成本。
  • 对手势输入进行了优化，通过手指触摸皮肤表面，提供更自然的使用体验。
  • 社会接受度较高，因为该姿势自然与手机输入姿势类似。
• 实施步骤与关键技术:
  • 设计阶段考察用户自然的手势姿势及习惯。
  • 实施阶段选择最合适的皮肤表面（例：手的第二指表面）、键盘位置（固定位置键盘）、键盘大小（增大的键盘尺寸，键宽6mm，键间距2mm）。
  • 使用现有 AR 设备（如 Hololens 2）实现实时手部追踪和屏幕显示。
  • 通过增强反馈视觉深度感知等提高用户操作稳定性和输入精度。

研究成果

• 具体成果:
  • STAR 的用户输入速度平均为 21.9 WPM（Words Per Minute），约为智能手机输入速度（39.4 WPM）的56%。
  • 平均未校正错误率（UER）为 0.3%，远低于智能手机的平均未校正错误率（0.5%）。
  • 主观反馈表明部分用户对STAR体验感到满意，认为其具有创新性和可行性。
• 优势与评估结果:
  • STAR 技术提高了用户在裸手AR环境下的文本输入速度，同时保持较低的错误率。
  • 与现有的裸手输入技术（如眼球输入或空中手势输入）相比，STAR 结合了用户熟悉的输入方式，降低了学习成本。
  • 通过统计解码技术，提供了拼写推荐功能，进一步提升了输入效率。
• 局限性与未来方向:
  • 当前 AR 设备的手部追踪精度有限：追踪延迟高达 90 ms，追踪漂移约 ±1 mm，对输入的准确性产生影响。
  • 键盘固定于固定位置，未能完全模拟动态的智能手机输入体验。
  • 提供完全裸手机械输入的技术仍需进步，例如集成更高精度的传感器技术（如指环设备或手腕带）。
  • 未来可研究一种通过真实场景测试的方式，评估 STAR 的适用性，并探讨单手输入或基于手部滑动手势的改进型设计。