迈向皮肤科图像数据集的透明度：专家、众包与算法的肤色标注

虽然人工智能有潜力支持医疗提供者并提高诊断准确性，但数据集组成缺乏透明度使AI模型存在无意可避免的错误风险。特别是，皮肤病况的公共和私人图像数据集很少包含肤色信息。作为提高透明度的起点，AI研究人员借用了Fitzpatrick皮肤类型（FST）——从患者光敏性测量指标——用于计算机视觉应用（包括面部识别和皮肤病诊断）算法审计中的皮肤 tone 估计。为了理解图像上估计FST注释的变异性，我们比较了来自教科书和在线皮肤图谱的460张皮肤病图像的多种FST注释方法。这些方法包括委员会认证皮肤科专家的注释、通过个体分类角度算法然后转换为估计FST（ITA-FST）的算法注释，以及两种用于注释估计FST的众包动态共识协议。我们发现三位委员会认证皮肤科专家之间的评估者间信度，与皮肤科专家和任一众包方法之间的信度相当。相比之下，我们发现ITA-FST方法产生的注释与专家注释之间的相关性明显低于专家之间注释的相关性。这些结果表明，基于ITA-FST的算法在注释大规模图像数据集方面不可靠，但以人为中心的、基于众包的协议可以可靠地为皮肤科数据集增加皮肤类型透明度。此外，我们引入了具有可调参数的动态共识协议概念，包括增加众包工作可见性的专家审查，并为未来大规模图像数据集的众包注释提供指导。