可变工作量众包标注的挑战及可见黄金数据的帮助

视频

DOI

我们考虑一类可变工作量的人工标注任务，其中每个项目所需的标签数量可能差异很大（例如，查找图像中的所有面孔、文本中的命名实体、音频录音中的鸟叫声等）。在这样的任务中，某些项目需要的标注工作量远大于其他项目。此外，每个项目的标注工作量在标注完成后才知道，因为确定所需的标签数量本身就是标注任务本身的一部分。在一个使用众包标注者的图像边界框任务中，我们发现标注者的准确率和召回率随着工作量的增加而持续下降。我们假设了这种下降的原因，并研究了一系列应对方法。首先，我们在该任务上对一批众包最佳实践方法进行了基准测试。值得注意的是，这些方法中只有一种实际上提高了质量：使用可见黄金问题，它向工作者提供周期性反馈，让他们了解工作过程中的准确率。基于这些有希望的结果，我们随后研究并评估了可见黄金方法的变体，进一步提高了性能。最终结果显示，与基线相比，边界框准确率提高了7%。我们讨论了可见黄金方法的通用性以及有希望的未来研究方向。