Surgment: 使能语义分割的搜索与视觉问题及反馈的创建以支持基于视频的手术学习

文献标题

Surgment: Segmentation-enabled Semantic Search and Creation of Visual Question and Feedback to Support Video-Based Surgery Learning

文献信息

• 主题领域: 医学教育技术，基于视频的学习，场景分割与交互设计
• 关键词: 视频学习, 问题生成, 场景分割, 视频导航, 手术学习

研究背景与问题

• 发现的挑战:
  1. 外科手术视频学习通常是被动的，缺乏交互性和反馈。
  2. 现有技术主要集中于提取任务步骤，但对单帧画面关键细节的学习支持不足。
  3. 自动问题生成技术多为文本主导，难以应用于需要高度视觉内容的手术学习场景。
  4. 从视频中提取适合教学的关键帧复杂且耗费大量时间。
• 研究重要性:
  1. 手术学习是高度视觉化的过程，涉及解剖结构、工具操作和手术决策。
  2. 在视频观看中嵌入互动问题和可视化反馈被证明可以提高学习效果。
• 研究动机: 本研究致力于开发一种系统，使得外科医生能够快速有效地基于手术视频创建带有反馈的互动练习，同时减轻标注关键帧和生成问题的负担。

解决方案

• 提出的方法与解决方案:
  1. 开发了一种名为 Surgment 的基于网络的系统，依托于场景分割管线 SegGPT + SAM 提供视觉支持。
  2. 集成了 "搜索-通过遮罩 (Search-by-Mask)" 和 "问答生成工具" 两种关键功能。
• 创新之处:
  1. 将 Segment Anything Model (SAM) 和 SegGPT 模型结合，显著提高手术场景分割精度（F1-score 达到 92%）。
  2. 提供交互功能，允许用户通过调整场景遮罩快速定位视频帧。
  3. 支持生成多样化问题类型（如多项选择题、路径画图等）及基于场景的可视化反馈。
• 实施步骤与关键技术:
  1. 场景分割: 提取视频帧，通过 SegGPT 进行标签预测，SAM 提供分割区域，通过多数投票算法进一步优化输出。
  2. 视频导航: 识别关键帧，并通过用户定义的遮罩快速检索符合条件的帧。
  3. 问题生成与反馈: 创建与真实手术场景相关的问题，并附加高质量的视觉反馈。

研究成果

• 具体成果:
  1. 分割精度: SegGPT+SAM 场景分割框架在公开数据集上的表现优于 UNet 和 SegGPT，仅需 22 张标注图像（总数的 0.15%），即可生成合理的分割结果。
  2. 问题生成工具的成功应用: 所有参与者（包括 11 名外科医生）均成功地使用 Surgment 创建了高教育价值的练习题目与反馈。
  3. 导航性能: Surgment 的搜索功能在图像检索准确性上（88%）远超基线方法 (31.1%)。
• 与现有解决方案的比较:
  1. 相较于传统视频浏览方法（如逐帧滚动），Surgment 的搜索工具显著节省时间。
  2. 可视化反馈优于文本/手动注释，有助于训练细节和关键操作教学。
• 实验与评价结果:
  1. 外科医生认为系统易用性较高，视觉反馈增强了学习的空间感和针对性。
  2. 基于手术场景的创新型互动问题（如路径绘制）得到了积极回应。
• 局限性与未来方向:
  1. 用户界面改进: 当前的遮罩调整交互耗时较长，建议引入语音指令提高效率。
  2. 分割细粒度提升: 尤其是对微小解剖特征（如胆囊颈部或动脉）的精确标注。
  3. 3D 场景支持: 手术是高度三维化的操作流程，需要引入深度感知和动态场景跟踪技术。
  4. 功能扩展: 将系统用于复杂手术类型，并探索扩展到增强现实环境支持实时手术教学和反馈。

该研究结合了先进的分割技术和基于用户需求的互动设计，为外科教学和学习提供了一种高效且创新的工具。