实体沉浸式创伤模拟：混合现实是医疗技能训练的下一个水平吗？

文献标题

Tangible Immersive Trauma Simulation: Is Mixed Reality the Next Level of Medical Skills Training?

文献信息

• 主题领域: 医学技能训练与混合现实技术
• 关键词: 混合现实 (MR), 医学训练, 急救员培训, 触觉反馈, 存在感, 医疗仿真

研究背景与问题

• 作者发现的问题或挑战:

  • 当前医学模拟训练的方法分为两个领域：基于实际人体模型的技能教学与基于虚拟现实（VR）的情境评估和决策训练。这两种方式目前存在较少的交集。
  • VR 虽然能提供高视觉和听觉真实性，但欠缺触觉反馈；而模拟人模型虽然具有触觉可操作性，但无法动态响应环境和情境。
  • 混合现实（MR）可能是一种潜在的解决方案，用于结合两者的优势，但其在医学领域的应用尚不成熟。

• 研究重要性:

  • 医学急救员需要在分钟级时间内做出准确判断和执行操作。提升其培训的沉浸式和实际操作性有助于提高真实工作环境中的表现。
  • 将MR技术引入医学训练可提升学员在复杂情境中的操作能力和决策能力。

• 研究动机与相关工作:

  • 现有的VR和触觉设备已被用于普通学习环境以及外科手术和基本生命支持等方面，但多是独立实现的。
  • 少数研究尝试将纯物理模拟与虚拟增强结合，例如通过叠加虚拟显示来增强真实的模拟人模型。作者正是基于此类研究基础，探讨MR是否能融合医学技能与情境训练。

解决方案

• 创新方法或解决方案:

  • 构建了一个混合现实培训系统，结合实际的人体模型和虚拟环境。通过叠加虚拟视觉元素（如患者状态的动态演变），培训者可以使用真实的医疗工具来操作实体的模拟人模型。
  • 系统在设计上应用了嗅觉、听觉（如环境噪声和病人的呼吸声）、触觉和视觉表现增强（如病人皮肤颜色变蓝反馈），以提高沉浸感和真实感。

• 实施步骤与关键技术:

  1. 技术架构:
     • 使用Varjo XR-3头戴显示设备，进行实时视频叠加和虚拟-物理融合场景跟踪。
     • 使用绿屏技术叠加虚拟患者视觉效果，LiDAR传感器用于手部与工具的深度信息捕捉。
     • 配备触觉反馈的医疗设备（如气道袋、氧气瓶）。
  2. 场景设计:
     • 设置了一个典型的车祸场景，包括两名虚拟患者（Grace和Tobi），通过逐渐发展的创伤状况引导学员完成初期评估、急救处理和患者移交。
  3. 用户交互:
     • 用户在场景中自由移动，真实使用医疗工具（如听诊器、呼吸机）检查患者病情，并通过工具引发虚拟反馈（如胸腔起伏）。
     • 医学专家担任角色扮演（通过语音角色扮演患者），增强培训的社会互动。

研究成果

• 具体成果:

  • 实验结果表明，参与者在混合现实场景中具有高水平的物理存在感和自我存在感，并感知到显著的压力水平（通过皮肤电导测量验证）。
  • 通过用户问卷数据，参训者高度认可MR培训的技术接受性和目标效果，尤其是在培训沉浸感和直观交互性方面得分较高。

• 相较现有方案的优势:

  • 增强了现有VR训练的触觉与现实感，弥合了虚拟与现实技能培训的差距。
  • 通过动态仿真患者的状态（如呼吸、脸色变化）提高了情境的可信性。
  • 使用实际工具增强了学员的直观性和训练代入感。

• 实验或评估结果:

  • 技术接受度: 各项评分，如趣味性和操作便捷性，均达高分（多数评分在4.5以上，满分5）。
  • 压力与唤醒水平: 相较基线安静状态，受训者在场景中显示出显著更高的皮肤电峰值闪现频率和振幅。
  • 存在感: 虽然物理和自我存在感较高，但社会存在感略低，表明虚拟角色的社会互动尚需改进。

• 局限性与未来方向:

  • 局限性:

    • 场景中的实体模型仅包括躯干（未包含四肢），限制了操作范围。
    • 透明工具（如氧气面罩）在绿屏环境中有显示问题。
    • 虚拟代理的表情和动作互动性不足，影响社会存在感。
    • 样本量较小，仅进行了初步评估，与传统训练的比较研究尚未展开。

  • 未来方向:

    • 集成更加完整和可移动的实体模拟人模型，并增加皮肤触觉、脉搏等细微反馈。
    • 结合AI技术提升虚拟代理的互动响应能力。
    • 扩展工具库以覆盖医疗场景中全部设备，模拟更复杂的操作决策。
    • 开展随机对照试验，量化评估MR在实际医学训练中的优势，并研究其长期学习效果。

总结

作者提出并验证了一种结合虚拟与物理操作的新型MR技能训练解决方案。研究展示了其在医疗急救训练中的潜力，并识别了未来优化的关键环节。