Surch：启用手术视频的结构化搜索和比较

文献标题

Surch: Enabling Structural Search and Comparison for Surgical Videos

文献信息

• 主题领域: 视频检索与比较、医学教育，尤其是基于视频的手术程序学习
• 关键词: 视频学习、程序知识表示、手术学习、结构化视频搜索、跨视频交互

研究背景与问题

• 现象与问题:

  • 视频是学习程序知识(如手术技巧)的有效媒介，但目前通过视频学习手术程序仍存在困难：
    • 手术程序中的结构化知识（例如步骤的组成和顺序）难以获取。
    • 现有平台对跨视频比较和搜索手术步骤的支持有限。
    • 用户需要花费大量时间搜索视频，并只能基于视频标题或上传者信息进行检索。
  • 手术视频的分析挑战在于语义信息提取和结构模式识别，这些信息通常需要领域专家手动注解，成本高昂。

• 重要性:

  • 手术视频的语义搜索和跨视频比较的功能可以显著提升医学教育效果，尤其对于初学者和临床住院医生。
  • 提供手术步骤的结构化视图，可以系统性增强学生对手术程序整体流程和细节的理解，进而加速学习曲线。

• 研究动机:

  • 通过设计更智能化的视频搜索与比较工具，将大规模手术视频数据转化为可操作的学习资源。
  • 为视频学习引入基于结构信息的智能搜索功能，以提高视频学习效率和用户体验。

解决方案

• 方法/系统设计:

  • 提出一种名为 Surch 的系统，用以支持基于结构化搜索和视频比较的手术视频学习。
  • 系统功能:
    1. 视频搜索界面: 提供交互式语义图表以表示手术步骤的程序结构。
    2. 视频比较界面: 支持视频的跨阶段同步导航和多个视频的对比。
    3. 聚类工作流: 自动生成显示手术结构的程序图，用详情路径（如分支与循环）显示视频之间的差异。

• 创新点:

  • 利用聚类方法和加权方案识别手术中的潜在结构模式。
  • 基于手术程序中的步骤和分支，设计了定制的分析维度包括可选步骤、步骤的重复性、路径分支等。
  • 通过计算机视觉技术（CNN-LSTM）自动标注手术视频的阶段性内容，减少注解依赖专家的高成本性。
  • 支持基于手术阶段点击生成的“图形交互式过滤搜索”，从而允许基于个性化需求浏览视频。

• 技术实现:

  • 数据处理: 标注了包含296个前列腺切除手术视频的数据集，将手术阶段自动转化为卷积神经网络（CNN）+ 长短期记忆网络（LSTM）处理的时序数据。
  • 加权系统: 开发了加权PCA方法（权重主要考量局部频率特性及跨视频全局特性）进一步优化聚类结果。
  • 界面设计: 使用基于图形的搜索和比较功能，允许用户在手术“路径图”与“视频回放”之间同步操作。

研究成果

• 定量与定性评估:

  • 系统聚类结果（Silhouette得分=0.82）表明了良好的分类清晰度。
  • 与无向量化分析和无加权方案的测试相比，Surch具有更好的聚类效果。
  • 手术视频的自动化阶段检测准确率为78.4%，通过整合高级机器学习技术后精度更高。

• 用户实验:

  • 对11名不同年级的外科医学住院医生进行用户研究。
    • 结果显著提高了视频搜索（观看内容更快、更有效）与比较的效率。
    • 系统增强了初学者对手术技术多样性的理解，提升了学习体验。
    • 初级住院医生（PGY1-3）效能提升显著，能更快速了解手术步骤标准化流程。

• 局限与未来方向:

  • 当前系统的程序图标签系统对高级用户而言仍缺乏直观性，未来将结合人机协作生成更临床相关的标签。
  • 当前手术视频涵盖较有限的手术类型，需探索系统在更广泛视频内容（如其他手术类别、非医疗领域程序知识）中的泛化能力。
  • 系统对复杂视频语义细节和非手术领域的潜在用户需求适配仍需进一步改进与评估。

总结

• 贡献:

  1. 提供了标注完整的前列腺切除手术视频数据集（296个视频）。
  2. 提议了一种新型结构搜索与比较界面。
  3. 实现了定量与用户评估，证明系统在外科教育领域的价值。
  4. 公开了代码与模型形成数据资源，供学术及应用进一步探索。

• 研究影响:

  • Surch开辟了视频学习应用的新方向，为手术教育和复杂任务知识传递提供贴合实际需求的智能工具。