InkFlow：面向混合现实中自然空中输入的连笔手写识别

文献标题

InkFlow: Connected Handwriting Recognition for Natural Mid-Air Input in Mixed Reality

出版信息

• 主题领域: 混合现实（MR）环境中的空中手写识别。
• 关键词: 混合现实、空中手写、笔画识别、DS-TCN、元学习、运动学特征、用户适应性、自然交互、实时处理、可用性评估。

背景与问题

• 问题/挑战: 现有的空中手写系统依赖显式控制机制（例如手势、按钮或平面代理），这些机制会破坏自然书写流畅性，增加认知负担，并导致疲劳。这些系统通常缺乏跨用户的强泛化能力，并且需要专用硬件。
• 重要性: 自然手写在MR中对于沉浸式教学、协作白板和数字签名等应用至关重要，因为它保留了空间和风格特性。提高空中手写的自然性和流畅性可以增强用户体验并拓宽MR的应用范围。
• 动机与相关工作: 现有方法主要关注符号文本输入或单字符手写，通常需要手动控制或专用设备。这些方法无法支持3D空间中的连续自然手写。InkFlow通过从连续手部运动中自动识别笔画，无需显式控制机制，填补了这一空白。

解决方案

• 提出的方法: InkFlow是一种基于运动学驱动的MR手写识别系统，能够实现自然连续的空中手写，无需显式手势切换或专用硬件。
• 创新点:
  1. 使用Pinch-Release手势进行自注释手写数据的用户友好数据收集管道。
  2. 基于边界感知对齐的轻量级双头DS-TCN模型，实现鲁棒的笔画识别。
  3. 结合领域泛化的元学习框架，实现跨用户适用性和快速适应，仅需少量数据。
  4. 实时异步视觉反馈，实现无缝手写交互。
• 流程与关键技术:
  1. 通过Pinch-Release手势收集数据，以标注笔提/笔落状态。
  2. 使用运动学特征（速度、加速度）和软边界标签训练DS-TCN模型。
  3. 通过跨领域泛化的元学习优化用户特定的手写风格。
  4. 结合滑动窗口处理和异步反馈，实现实时笔画识别，减少延迟。

结果

• 具体发现:
  • 在帧级别准确率方面，达到了84.16%（Accraw）和88.36%（Acctol），在段级别F1@0.5达到了78.54%。
  • InkFlow相比Pinch-Release方法，手写速度提高了英语22.9%、中文51.6%。
  • 与基线方法相比，在NASA-TLX评分中显著降低了身体需求和努力程度。
• 相较基线的优势:
  • 在可用性、效率和用户偏好方面优于Virtual-Plane和Pinch-Release方法。
  • 展现了强大的跨用户泛化能力，并通过少量个性化数据实现快速适应。
• 实验/评估:
  • 比较性用户研究（N=30）评估了与基线方法相比的可用性和偏好。
  • 闭环在线研究（N=12）评估了实际性能及错误纠正能力。
  • 消融研究验证了边界感知设计和元学习的有效性。
• 局限性与未来工作:
  • 固定滑动窗口上下文限制了对极大、极慢或极快手写的识别。
  • 需要用户面对书写内容以实现正确的坐标转换。
  • 在多语言和书写系统上的评估有限。
  • 难以优化不同空间角度的视觉可访问性。

总结

InkFlow是一种用于混合现实中自然空中手写的创新系统，通过运动学特征、DS-TCN模型和元学习实现鲁棒的笔画识别。它消除了显式手势控制，实现了连续手写，减少了疲劳并提高了效率。用户研究表明，与传统方法相比，InkFlow在可用性和舒适性方面具有显著优势。尽管在处理多样化书写行为和语言方面存在局限性，InkFlow在教育、协作和创意设计等应用中展现了良好的前景。