使用成对比较的众包主观标注比多数投票方法更能减少偏见和错误

如何更好地减少众包标注中由主观性引入的测量变异性和偏见仍然是一个开放的问题。我们引入了一个理论框架，用于理解随机误差和测量偏见如何进入主观构念的众包注释。然后，我们提出了一个结合成对比较标注和 Elo 评分的管道，并证明它在减少两种测量误差方面优于普遍使用的多数投票方法。为了评估标注方法的性能，我们构建了一个众包标注的基于代理的模型，让我们可以引入不同类型的主观性。我们发现，在大多数具有任务主观性的条件下，比较方法产生了更高的 F1 分数。此外，比较方法不太容易增加偏见，而多数投票往往会这样。为了促进应用，我们通过模拟和真实数据表明，实现相同分类准确性所需的随机比较数量与标注项目数量呈对数线性 O(N log N) 缩放。我们还将 Elo 系统实现为开源 Python 包。