基于扩散模型的交互式高质量皮肤病变生成用于VR皮肤科教育

DOI

恶性黑色素瘤是早期未检测时最致命的癌症形式，国际上实施的癌症筛查项目均需要对皮肤病变进行视觉检查。早期黑色素瘤检测是医学和皮肤科教育中的关键能力，主要使用2D图像进行培训。然而，考虑到皮肤病变的内在3D性质以及整合患者额外上下文信息（如皮肤类型、附近病变等）的重要性，现有方法不足以提供全面且可扩展的学习体验。虚拟现实场景提供了一种有效的策略，可用于在逼真的3D环境中训练皮肤癌筛查，从而增强医学生对早期黑色素瘤检测的认识。本研究提出了一种综合流程和模型，用于生成恶性黑色素瘤和良性痣，可用于VR医学培训。团队使用扩散模型生成皮肤病变，并增强了多种引导策略，使教育者能够最大程度灵活设计场景并在虚拟智能体上无缝放置病变。此外，开发了一款包含图形用户界面的工具，支持使用直观交互式修复策略生成新病变和调整现有病变。该工具还提供了一种新颖的自定义上采样策略，以达到诊断所需的足够分辨率。生成的皮肤病变已通过训练有素的皮肤科医生用户研究进行了验证，确认了生成病变的高整体质量和教育用途的实用性。