eXplainMR: 生成实时文本和视觉解释以促进MR中超声波学习

研究背景与问题

• 问题和挑战: 学习Point-of-care Ultrasound (PoCUS)（床旁超声）需要具备复杂的视觉-运动协调和故障排除能力，但学员缺乏合适的指导资源，如高保真模拟器或经验丰富的导师。现有的混合现实（MR）教程系统通常着眼于固定动作任务，而缺乏对开放性任务中“问题是什么”以及“为什么需要采取特定操作”的解释。
• 重要性: PoCUS已成为现代医疗的关键技能，在床边快速诊断和治疗中起到重要作用。然而，学员通常难以将理论知识与实践结合，并常在解剖结构复杂或操作精准度要求高的情况下感到困惑。
• 研究动机与相关工作: 尽管已有高保真模拟器和多种MR教学系统，它们大多关注“如何进行操作”，而没有深入探讨为何采取某种动作或如何在不同情况下进行自适应调整。例如，现有系统多通过箭头或路径指导完成固定任务，而缺乏对开放性问题解决的支持。

解决方案

• 提出的方法:
  • eXplainMR系统: 提出一个可自动生成文字和视觉解释的混合现实教学系统，专注于解构复杂任务（如心脏PoCUS），通过子目标(scaffolding subgoals)引导的方式进行教学。
  • 核心组件:
    1. 子目标生成: 将复杂操作分解为单一动作的步进式目标，便于学员逐步理解和应用。
    2. 文字解释: 针对每一步动作生成详细的解剖学和问题描述，用于解释“为什么”。
    3. 实时图像分割与反馈: 通过将当前成像与目标成像的对比，实时用标注帮助学员了解错误和缺失（例如，通过“×”和“？”符号标示成像问题）。
    4. 3D动画提示: 提供透视心脏切面和目标解剖的动态视图，结合“切面移动路径”的动画引导用户进行正确调整。
• 创新点:
  1. 将解剖解释与操作指导结合，从而在技能学习中融入更深层次的认知参与。
  2. 自动生成的反馈使用2D-3D交互帮助学员建立视觉-空间模型。
  3. 丰富的问题设计（如实时错误标注和子目标优化）使学员聚焦于解题过程而非仅仅遵循指令。
• 实施步骤:
  1. 子目标生成逻辑: 使用优化算法，基于当前-目标成像的相似度逐步迭代生成下一步建议。
  2. 多层次反馈生成:
     • 使用解剖结构的3D心脏模型形成子目标分割和解释。
     • 对比当前-目标视图生成标注图像和3D动画。
  3. 用户交互: 学员通过头戴设备操作虚拟探头，根据系统提示并学习调整。

研究成果

• 具体成果:
  • eXplainMR比传统的箭头或阴影视觉指导更能提高对解剖知识和系统性问题解决的理解。
  • 用户研究表明使用eXplainMR后的学员在完成PLAX（胸骨旁长轴视图）的时间减少了73.1%，而传统方法减少了55.4%。
  • 子目标生成方法得到了领域专家的评价支持，其优化步骤被认为更符合实际教学或训练场景。
• 优势:
  1. 提升了学员对解剖结构的认识以及对探头调整的系统性思考。
  2. 将问题分解为子目标，降低学员的认知负担并增加操作的精确性。
  3. 提供了低成本且可独立进行训练的环境，即使在导师短缺情况下，也能助力教学。
• 实验或评估结果:
  • eXplainMR在学习认知需求较高的复杂任务（如角度微调、解剖识别）上更胜一筹。
  • 定性反馈表明，学员认为系统的3D视觉提示和实时图像标注比传统系统能够更直观地说明运动调整背后的因果关系。
• 局限性与未来方向:
  1. 局限性:
     • 当前设置的MR控制模拟器缺乏真正的探头手感，可能影响现实场景迁移。
     • 评估主要集中在短期行为改善，尚未涉及长期技能保存或在真实病例场景中的应用。
     • 子目标虽然有助于初学者，但可能削弱经验丰富学员开展更流畅任务的能力。
  2. 未来方向:
     • 将系统扩展至其他复杂器官的超声教学，并研究这种自动子目标生成方法在更多医学领域的通用性。
     • 深入研究这些MR生成技能在真实医疗场景中的实际迁移效果。
     • 提升用户界面与交互设计，例如，增加自适应反馈以满足不同经验层次的学员需求。

通过结合认知科学与视觉技术的创新，eXplainMR实现了高效和深入的心脏超声学习方式，为解决医学培训领域的关键痛点提供了新视角和可行路径。