ARTEMIS：用于沉浸式外科远程指导的协作混合现实系统

文献标题

ARTEMIS: A Collaborative Mixed-Reality System for Immersive Surgical Telementoring

文献信息

• 主题领域: 人工智能与混合现实在远程医疗中的应用
• 关键词: 混合现实、增强现实、虚拟现实、手术、协作、远程指导、系统设计、医疗教育、实时技术、深度学习

研究背景与问题

• 问题与挑战:

  • 创伤性手术常需及时干预，但无法保证生命救助专业知识能在患者所在地随时可用。
  • 现有的远程医疗系统局限于通过视频注释协助，仅支持有限的互动形式，无法满足复杂手术场景中的教学和指导需求。
  • 缺乏用于跨地域协作的高效混合现实技术，导致操作效率低下和指导误差的可能性增加。

• 重要性:

  • 快速响应创伤可以挽救患者生命，而提高远程指导的效率尤为重要。
  • 在缺乏经验或资源匮乏的情况下，为现场医生或技术人员提供高效的党方协作工具，将大幅改善医疗服务质量。

• 研究动机与相关工作:

  • 作者在混合现实领域已有不少研究，包括远程协同任务中的视觉沟通技术、新界面评价和手势技术使用。
  • 找出了远程合作技术在手术环境中的设计限制，现有系统如STAR (Surgical Telementoring using Augmented Reality)已展示了其潜力，但仍缺深度注释能力和复杂操作性的可扩展性。

解决方案

• 方法与解决方案:

  • 提议了一种设计包含虚拟现实（VR）与增强现实（AR）结合的混合现实系统，名为ARTEMIS。
  • ARTEMIS允许远程专家借助3D重建功能交互患者体内器官，与本地医生协作执行复杂手术。
  • 系统分为两个核心部分：专家界面（ARTEMIS VR）与新手界面（ARTEMIS AR），各自结合摄像设备、深度传感器和可移动物体硬件。

• 创新之处:

  • ARTEMIS是第一个允许通过实时虚拟环境提供手势、3D注释和实际动作指导的系统。
  • 结合专家手势、3D患者模型和参考视频，使得远程指导更具互动性。
  • 从人机交互角度优化了界面设计，减少了新手在手术过程中的认知负担。

• 实施步骤及技术:

  • 通过角色扮演和迭代设计方法，从医务人员的实际习惯出发规划亲和的系统功能。
  • 引入深度相机（Azure Kinect, Intel RealSense）、OptiTrack光学跟踪系统和Microsoft HoloLens等硬件设施以实现AR/VR交互。
  • 使用Unity引擎开发了注释工具（3D笔）、实时流传输功能和患者模型重建能力。

研究成果

• 具体成果:

  • 成功开发了ARTEMIS系统，并通过22项手术（包括模拟人体模型与尸体操作）对其进行评估。
  • 初步证明系统能使经验不足的操作人员在专家指导下完成复杂手术，时间效率显著提高。

• 与现有解决方案的优势:

  • 不再受限于传统的2D标注，通过3D深度标记功能实现更精准的身体位置标记。
  • 混合现实界面更适配医学场景，兼容专家手势与视频教材的综合指导。
  • 支持异步视频片段传输作为额外补充资源。

• 实验或评估结果:

  • 通过初步质性评价发现，ARTEMIS在准确性、通信清晰度和指导交互方面表现良好，专家和新手均对系统满意。
  • 解决了视频画面清晰度差、AR注释失去对齐和深度感知不足等问题，通过多角度摄像头提供更丰富视图。

• 局限性与未来方向:

  • 当前深度摄像机在捕捉细节（如血管或组织）时仍有限制。
  • VR注释的深度感知和对齐尚需进一步优化；通过视觉辅助或约束可能改善用户体验。
  • 系统的设计主要从专家视角开展，未来计划从新手角度理解其特殊需求以改善界面。
  • 计划正式开展与其他远程协作系统的对比研究，以及将技术扩展至移动平台。

该研究表明了混合现实技术在医疗领域的潜力，尤其是在远程指导和教育方面。然而，解决技术限制和深入理解用户需求将是后续工作中的重点。