利用DANNY赋能非专家进行医学数据标注：提高准确性并减轻对AI的过度依赖

DOI

招募专家的经济限制阻碍了构建合格数据集以利用AI服务于专业领域（如医学诊断）的努力，而这可能带来社会效益。为了解决这个问题，以往研究引入众包和AI使非专家能够执行专家级数据标注。然而，他们面临三个挑战：1）众包在专业化程度较低的领域（如识别动物物种）适用性有限；2）鸡生蛋问题，即需要高性能AI来构建训练此类AI的数据集这一悖论；3）对AI的过度依赖，即缺乏专业知识的非专家在次优AI引导下可能错误标注数据。为了解决这些问题，我们引入了DANNY（让非专家轻松进行数据标注），这是一种基于AI的工具，旨在帮助非专家标注关节炎数据集，目标是提高标注准确性并减轻对AI的过度依赖。通过外部化认知强制干预以促进批判性思维，DANNY提供两种可视化：1）标准阶段，非专家在四个关节炎特征上定义标准；2）纠正阶段，他们通过比较AI建议来完善这些标准。在28名参与者的研究中，DANNY用户实现了更高的准确性和更适当的AI依赖性。12名参与者的后续研究展示了DANNY如何通过集成方法改进AI。我们的发现为在专家资源有限时使用AI支持非专家标注特定领域数据提供了新见解。