MR显微外科缝合训练系统，具备分级别支持

文献标题

MR Microsurgical Suture Training System with Level-Appropriate Support

文献信息

• 主题领域: 混合现实技术与医疗训练，特别是神经外科微创手术缝合技能训练
• 关键词: Neurosurgical training, MR, CV-based tracking, Visual feedback, Real-time feedback

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 神经外科手术中的微创缝合需要高超的技能，传统训练方法的效率较低，且需耗费大量时间（约10,000针和数百小时）。
  2. 隐私和法律问题使得医疗实习生无法直接在手术中通过观察学习。
  3. 现有的虚拟现实（VR）训练系统存在视差问题，与真实显微镜环境差异较大，影响训练效果。

• 为什么这个问题很重要？

  1. 微创缝合技能是神经外科手术中的关键技术，对速度、准确性和稳健性要求极高。
  2. 每次手术中脑部组织的缺血承受时间极短，手术效率直接关系到患者生存。
  3. 医学训练方法需要考虑隐私、易中断性和高效性，以适应繁忙的医疗环境。

• 研究动机与相关工作

  1. 近年来，医疗领域逐渐采用混合现实（MR）和人工智能（AI）技术，以提高医疗技能培训的效率。
  2. 此前研究的VR技能获取系统已初步验证了对非医疗背景人员的训练有效性，但缺乏针对目标用户——神经外科医生的评估和适配性。
  3. 作者旨在构建一种能兼顾医学专业性、易中断性、现实环境兼容性的新型混合现实训练系统。

解决方案

方法或解决方案

作者提出一种基于混合现实（MR）的微创缝合训练系统，根据使用者技能水平分为两个训练模式：

1. 初学者模式（Novice Mode）：

   • 使用阴影匹配技术，生成高级医生操作姿势的虚拟“阴影”，帮助用户练习将镊子和针调整到理想位置。
   • 运用深度学习（YOLO v8算法）分割和识别外科工具，通过图像相似度计算评估训练效果。

2. 中级用户模式（Intermediate Mode）：

   • 实时反馈系统，根据缝合过程不同阶段（“打结”、“剪线”等），动态评估速度、准确性和稳健性。
   • 通过语音识别划分训练阶段，在用户操作时显示针对性反馈（例如镊子运动轨迹的颜色变化、纱布移动警告等）。
   • 训练完成后显示评分板，通过分数定量评估训练进展，激发用户进一步提高技能。

解决方案的创新之处

• 技术集成：将MR技术与深度学习相结合，实现外科工具的无标记识别，避免干扰手术体验。
• 反馈机制：通过可视化、语音识别等技术实现实时反馈，针对不同技能水平设计适配的训练内容。
• 多阶段训练模式：针对初学者和中级用户设计专属训练任务，提高训练效率和针对性。

实施步骤与关键技术

1. 硬件系统：构建显微镜摄像头、视频透视MR头显（Varjo XR-3）、计算机处理器及显卡。
2. 软件与算法：
   • 使用深度学习算法（YOLO v4及YOLO v8）识别工具及纱布运动轨迹。
   • 通过光学流法检测纱布运动，量化稳健性。
   • 使用SIFT算法计算图像相似度评估初学者的训练效果。
3. 用户界面设计：开发针对性的可视化反馈界面，包括“阴影匹配”、“镊子运动圆圈”、“纱布移动警告”和“评分板”等。

研究成果

具体成果

• 初学者模式检测：

  • 实验表明阴影匹配系统能帮助初学者显著提高工具握持姿势，与理想状态更接近。
  • 系统提高了用户进入长时间集中训练的能力，有助于增强练习效率和动力。

• 中级用户模式检测：

  • 实时反馈显著减小了用户在“打结”阶段的镊子运动偏差，提高了技能精确度。
  • 评分板作为游戏化特性有效增强用户训练的动力。

与现有解决方案的比较优势

• MR系统缩小VR训练与现实环境的差距，允许用户同时观察显微镜和周围环境。
• 实现对复杂技能（速度、准确性、稳健性）的实时量化评估，提供阶段性指导。

实验或评估结果

• 初学者系统：对14名无医学背景者进行评估，结果表明系统对效率和集中度有显著提升。
• 中级用户系统：对6名神经外科住院医师进行测试，定量数据和用户反馈均支持系统的适用性和有效性。

局限性与未来方向

• 局限性：

  • 初学者实验时间较短，未能够深入验证系统对长期训练的效果。
  • 一些用户报告头显重量带来的身体不适。

• 未来方向：

  • 设计更加轻量化的头显设备。
  • 拓展系统功能以支持更高级别外科医生的实时影像回顾训练。
  • 将技术应用扩展至其他医疗领域，如腹腔镜和眼科手术训练。

补充信息

• 资助信息: 本研究得到日本JST CREST和JSPS KAKENHI项目资助。
• 潜在影响: 此研究对医疗训练的可接受性和效率的提升具有广泛的启示，可推广至其他需要高度精确技能的领域。