PaperToPlace：将指令文档转换为空间化和上下文感知的混合现实体验

文献标题

PaperToPlace: Transforming Instruction Documents into Spatialized and Context-Aware Mixed Reality Experiences

文献信息

• 主题领域: 混合现实 (Mixed Reality, MR)，文档处理与用户体验设计
• 关键词: 混合现实、说明文档、教程与帮助系统、情境感知MR、界面优化、任务分段

研究背景与问题

• 问题或挑战:

  • 当前的纸质说明文档与用户的物理环境脱节，使得在实际场景中参照文档执行任务的过程较复杂。
  • 用户在阅读分布于文档中的说明时容易造成频繁的上下文切换，这种行为增加了任务学习和执行的认知负担。
  • 始终性地放置虚拟化说明内容可能导致关键交互区域被遮挡，从而降低用户体验。

• 重要性:

  • 纸质说明文档作为知识共享的重要媒介，广泛应用于设备操作、设施维护等日常任务和教育场景。在任务与文档不直接关联时，用户可能需要反复切换注意力，这对工作效率和任务效果造成不利影响。

• 研究动机与相关工作:

  • 尽管已有混合现实系统展示了MR技术在空间任务指导中的潜力，例如通过AR增强文档体验，但这些方法通常需要较长的手动标记和布置步骤，缺乏动态环境适应能力。

解决方案

• 方法或解决方案:

  • 提出PaperToPlace，该系统包含两个核心工作流：一个用于将纸质说明文档快速转换为MR体验的创作管道，另一个用于根据用户情境优化说明内容显示的消费管道。
  • 创作管道通过OCR和预训练语言模型将说明文档解析为逐步切分的文本，用户可进一步编辑和关联关键对象。
  • 消费管道基于优化算法，通过考虑用户视线、手势追踪和关键交互区域设定最佳说明文本布局。

• 创新之处:

  • 创作阶段通过机器学习模型自动提取说明与环境锚点的关联，显著提高了文档处理效率。
  • 在消费阶段，系统采用概率优化方法动态调整说明内容的位置，同时提供无障碍操作体验（如手势控制、自动推荐布局）。
  • 支持分步骤交互和中断恢复设计，形成模块化的信息传达形式，优化学习曲线。

• 实施步骤:

  • 创作管道: 用户首先拍摄纸质文档，该系统利用OCR提取文本。然后，模型辅助用户将每一步内容与目标场景的物理对象（如微波炉）关联。
  • 消费管道: 用户在佩戴MR设备后，可通过动态布局位置和手势交互查看每一步操作步骤。根据环境模型（语义标注的空间锚点）和用户状态实时优化说明的摆放位置。

研究成果

• 具体成果:

  • 创作管道和消费管道在真实使用场景中均显示出良好的适用性和用户体验。
  • PaperToPlace能够在不遮挡交互区域的情况下提供空间化MR说明，并成功减少了用户上下文切换的频率，使任务执行更高效。

• 与现有解决方案的优势:

  • 创作过程更高效：相比传统MR内容的创建，机器学习辅助方法减少了生成空间化说明文档的时间和认知负担。
  • 消费体验更自然：说明呈现位置动态优化，无需用户手动调整，减轻手部和视觉负担。
  • 支持复杂环境下的任务：不仅适用于静态环境，也可通过实时用户行为数据动态调整虚拟对象布局。

• 实验或评估结果:

  • 创作管道：两种模式（人工和ML支持）均表现出良好的系统可用性（SUS评分>70），ML辅助显著缩短了任务完成时间（TCT平均减少约30%）。
  • 消费管道：相比基线模型，PaperToPlace成功减少了用户的上下文切换时间、头部移动路径和角度变化。
  • 反馈：大多数用户认为PaperToPlace显著降低了阅读障碍和信息查找成本，同时提升了任务完成的便利性和效率。

• 局限性与未来方向:

  • 局限性:

    • 当前主要针对静态关键对象，缺乏对动态移动对象（如手持设备）的支持。
    • 尚未全面支持带有复杂元数据（例如警告信息和多步骤关联）的指令文档。
    • 系统依赖于高质量的空间锚点数据，而现有MR设备对环境的建模精度有限。

  • 未来方向:

    • 提高含复杂格式和动态内容文档的解析能力。
    • 探讨跨领域适用性，扩展到更多类型的说明文档（如工业维修任务、医疗操作指导等）。
    • 优化用户交互，减少手动输入，增强全流程自动化体验。