SkinGEN: 基于交互式视觉语言模型的可解释皮肤病诊断到生成框架

DOI

随着视觉语言模型(VLM)技术的不断进步，皮肤病学领域取得了显著的研究成果，皮肤病是第四常见的人类疾病类别。然而，尽管有这些进展，由于皮肤病的固有复杂性，VLM在诊断中仍面临向用户解释的问题，现有工具对用户理解的支持相对有限。我们提出了SkinGEN，一个从诊断到生成的框架，利用稳定扩散(SD)模型根据VLM提供的诊断结果生成参考演示，从而增强对用户的视觉可解释性。我们通过低秩适应(LoRA)进行了大量实验，以确定皮肤状况图像生成的最佳策略。我们进行了一项包含32名参与者的用户研究，评估系统性能和可解释性。结果表明，SkinGEN显著提高了用户对VLM预测的理解，并促进了对诊断过程信任的增加。这项工作为皮肤病学及其他领域更透明、以用户为中心的VLM应用铺平了道路。