OralViewer：基于二维全景 X 光片的口腔重建用于患者教育的牙科手术 3D 演示

文献标题

OralViewer: 3D Demonstration of Dental Surgeries for Patient Education with Oral Cavity Reconstruction from a 2D Panoramic X-ray

文献信息

• 发表会议: 26th International Conference on Intelligent User Interfaces (IUI ’21), April 14–17, 2021
• 作者: Yuan Liang等
• 机构: University of California, Los Angeles等
• 关键词: 深度学习, 3D可视化, 患者教育, 单视图3D重建, 交互式用户界面

研究背景与问题

• 问题或挑战:
  1. 当前的牙科手术教育方式（如口头解释、手绘图、视频等）通常无法有效降低患者的焦虑或帮助他们理解复杂的手术步骤。
  2. 牙科手术所需的三维解构在教育过程中缺乏广泛使用且成本较低的解决方案，而现有大多数三维建模方法需要高成本的扫描，例如CT。
• 重要性: 患者理解手术步骤可以有效降低焦虑，提高治疗满意度和效果。提供直观且患者特定的三维手术演示能够填补患者和医生之间的知识鸿沟。
• 研究动机与相关工作:
  • 现有的三维手术演示技术已在其他领域（如心脏手术）显示出潜力，但在牙科手术教育领域尚未探索。
  • 当前的三维建模技术多依赖高成本的CT扫描，难以在牙科诊所普及。

解决方案

• 方法与方案: OralViewer是一种互动式应用，让牙医可以通过基于患者的三维口腔模型，演示牙科手术的步骤。
  1. 首次提出通过深度学习方法从二维全景牙科X光影像构建患者特定的三维牙齿结构。
  2. 将牙齿模型与预定义的牙龈和颌骨模板注册，组合成完整的三维口腔模型。
  3. 通过虚拟牙科工具，实时模拟手术步骤的效果。
• 创新点:
  1. 从单视图二维牙科影像构建三维口腔模型（降低成本和辐射暴露）。
  2. 提供交互式虚拟牙科工具模拟手术步骤，增强患者对复杂操作的理解。
• 实施步骤:
  1. 牙齿三维重建:
     • 使用深度卷积神经网络预测牙齿三维形状。
     • 从X光中分割并定位牙齿区域，通过反投影生成体素级三维模型。
     • 使用无监督方法从拍摄口腔照片中提取牙弓曲线。
  2. 完整口腔建模:
     • 使用预定义的牙龈和颌骨模板，结合患者特定的牙齿模型，通过注册和组装形成完整口腔结构。
  3. 手术演示工具:
     • 实现了六种虚拟牙科工具，包括手术刀、开孔钻、治疗头、注射器、刮匙和人工冠/植入物，用于模拟牙科手术的不同步骤。

研究成果

• 具体成果:
  1. 技术评估显示，三维牙齿重建的平均区间交并比（IoU）为0.771。
  2. 患者研究表明，与传统的教育方法相比，OralViewer显著提高了患者对手术过程的理解。
  3. 专家评估验证了系统的临床有效性，并建议改进虚拟工具操作方式以更直观。
• 优势对比:
  1. 与现有依赖CT扫描的三维建模技术相比，OralViewer降低了成本和辐射暴露。
  2. 通过虚拟交互模拟手术步骤，增强了患者的参与感和理解。
• 实验或评估结果:
  1. 技术评估揭示了不同牙齿类别的重建精度，智慧牙齿类别表现略低，归因于样本多样性和训练集小样本。
  2. 患者研究中，采用OralViewer组的患者对手术步骤描述的整体得分显著高于对照组。
  3. 专家认为口腔模型及模拟工具有效提升了患者教育效率，但在工具操作的用户体验方面仍有改进空间。
• 局限性与未来方向:
  1. 模型未包含牙齿根管结构，影响某些手术（如根管治疗）的演示效果。
  2. 当前牙龈模型较为粗略，可通过增加软组织扫描数据的模板改进。
  3. 建议增设更多虚拟工具模块，以覆盖所有牙科手术场景。
  4. 提高虚拟工具的交互体验，例如在触屏设备上实现更多直观控制，同时动态调整工具外观以反映参数变化。

参考文献

该论文详细引用了相关领域的文献，包括牙科放射学、深度学习、用户交互设计、以及CAD工具等，共引用了54篇文献以支持其方法与论点。