迈向皮肤科图像数据集的透明度：通过专家、众包与算法进行肤色注释

虽然人工智能有望支持医疗保健提供者并提高医学诊断的准确性，但数据集组成的不透明性使人工智能模型可能犯下无意且可避免的错误。特别是，皮肤病条件的公共和私人图像数据集很少包含肤色信息。作为提高透明度的起点，人工智能研究人员借用了 Fitzpatrick 皮肤类型（FST）——一种患者光敏感性的衡量标准——用于计算机视觉应用（包括面部识别和皮肤病诊断）的算法审计中估计肤色。为了理解 FST 注释在图像上的估计变异性，我们在来自教科书和在线皮肤病图集的一组多样化的 460 张皮肤病图像上比较了几种 FST 注释方法。这些方法包括委员会认证皮肤科医生的专家注释、通过个体分类角度算法进行的算法注释，然后转换为估计的 FST（ITA-FST），以及两种众包动态共识协议，用于注释估计的 FST。我们发现三位委员会认证皮肤科医生之间的评分者间信度与皮肤科医生和任一众包方法之间的信度相当。相反，我们发现 ITA-FST 方法产生的注释与专家注释的相关性明显低于专家注释之间的相关性。这些结果表明，基于 ITA-FST 的算法在注释大规模图像数据集时不可靠，但以人为中心的众包协议可以可靠地为皮肤病数据集添加皮肤类型透明度。此外，我们引入了具有可调参数（包括专家审查）的动态共识协议概念，以提高众包的可见性，并为未来大规模图像数据集的众包注释提供指导。