人-AI协作数据标注冲突解决中的依赖与自动化研究

多人标注数据及由此产生的冲突解决仍是许多企业机器学习流程的常规做法。冲突解决可能是一个耗时且成本高昂的过程。我们的目标是研究人-AI协作如何通过允许用户自动化处理冲突解决任务来改进这一过程。然而，目前对于人们在冲突解决过程中是否会以及如何依赖自动化了解的还不多。通常，自动化使用标注者的多数投票标签进行冲突解决，因为大多数标注者选择的标签往往是对的。我们设想了一个系统，该系统可以帮助发现多数投票标签错误的情况，并支持批量或分组冲突解决的自动化。为了解人类能否有效利用标注者和AI信息，我们研究了用户何时以及如何依赖标注者和AI信息以及自动化的分组冲突解决。我们与144名Mechanical Turk众包工人进行了研究。我们发现自动化提高了用户的准确率/时间，使用自动化冲突解决的情况在基于标注者或AI选择的标签时相对相似，提供标注者和AI选择的标签可能减少对自动化的不当依赖。