SwEYEpinch 及其超越：通过眼动追踪与手部追踪探索扩展现实中直观高效的文本输入方法

文献标题

SwEYEpinch and Beyond: Exploring Intuitive, Efficient Text Entry for Extended Reality via Eye and Hand Tracking

出版信息

• 主题领域: 基于凝视和手势追踪的扩展现实（XR）文本输入方法。
• 关键词: 扩展现实, 文本输入, 凝视追踪, 手势追踪, 捏合手势, 中途滑动预测, 混合输入, 用户研究, XR键盘, 时空解码。

背景与问题

• 问题/挑战: 在XR环境中，文本输入的速度较慢且耗费精力，相较于物理键盘或触摸屏更为困难。现有方法如控制器光线投射、中空点击以及仅依赖凝视的技术存在诸多限制，例如疲劳、高错误率和低速度。
• 重要性: 高效的文本输入对XR的普及至关重要，可实现无需外部设备或语音输入的头戴显示器（HWDs）的日常应用。
• 动机与相关工作: 之前关于凝视输入的研究（例如基于停留的输入方法、凝视滑动）以及混合方法（例如凝视与手势结合）虽展现了潜力，但仍受限于速度瓶颈、疲劳和错误率。本论文在这些方法的基础上提出了一种混合方法，通过将目标定位（凝视）与确认输入（手动捏合）分离来解决其不足。

解决方案

• 提出的方法: SwEYEpinch，一种混合文本输入方法，利用凝视进行单词轨迹追踪，并通过手动捏合手势界定单词输入。
• 创新点:
  1. 引入中途滑动预测，在凝视滑动时动态显示候选单词。
  2. 实现中途滑动删除和删除预览窗口以便纠错。
  3. 优化时空解码算法（Gaze2Word），用于实时反馈和候选排序。
  4. 通过长期用户研究展示持续学习效果和日常输入速度。
• 流程与关键技术:
  • 用户凝视单词的首字母，捏合手势开始滑动，并用凝视追踪单词。
  • 中途滑动预测动态出现，允许用户提前确认单词。
  • Gaze2Word算法通过凝视轨迹处理，包括凝视点检测、聚类和时空动态时间规整（DTW）。
  • 通过中途滑动删除和删除预览窗口实现错误纠正。

结果

• 具体发现:
  • SwEYEpinch在长期研究中实现了最高64.7 WPM的输入速度，五名参与者超过54 WPM。
  • 中途滑动预测提高了速度（22.3 WPM，相较于基础版本的16.6 WPM），且未增加错误率。
  • 参与者在30个实验环节中表现出持续学习效果，WPM稳步提升且错误率降低。
• 相较基线的优势:
  • 比仅依赖凝视的方法（如SkiMR、GlanceWriter XR）以及生产现实基线（如Finger-Tap with Prediction、Hand-Swipe）更快且更受用户青睐。
  • 错误率与基线方法相比保持竞争力或更低。
• 实验/评估:
  • 四项用户研究（US1–US4），共71名参与者参与不同条件下的测试。
  • 评估指标包括每分钟单词数（WPM）、总错误率（TER）和用户偏好。
  • 长期研究（US4）跟踪了七天内30个环节的表现。
• 局限性与未来工作:
  • 纠错机制有限（例如仅在确认后立即进行整词回滚）。
  • 长时间使用凝视可能导致疲劳；未来应探索疲劳指标及移动场景。
  • 当前评估集中于转录任务；未来研究应包括开放式写作和老年群体。

总结

本文提出了SwEYEpinch，一种结合凝视单词轨迹追踪与手动捏合界定的混合XR文本输入方法。通过四项用户研究，该方法展现了较现有基线更快的速度、更高的用户偏好以及持续学习效果。关键创新包括中途滑动预测、错误纠正工具以及优化的时空解码算法。研究结果表明，SwEYEpinch是日常XR文本输入的可行高效解决方案，其输入速度可与物理键盘相媲美。未来工作将关注更广泛的可用性场景及疲劳缓解策略。