众包注释的可解释建模

通过众包收集注释以提高质量的聚合模型已被广泛研究，但解释众包工作者为何犯错的研究却相对较少。为此，我们提出了一个联合聚合和工作者聚类模型，用于检测众包工作者标签背后的模式，以表征各种标注错误。我们评估了在命名实体识别数据集上的方法，该数据集由Mechanical Turk工作者标注，通过回顾性实验和小型人类研究进行。前者表明我们的联合模型提高了聚类质量（优于先聚合后聚类）。后者的结果表明，聚类有助于人类理解工作者标签并预测工作者错误。通过更好地解释标注者错误，我们的模型为帮助请求者改进任务指令和帮助众包标注者从错误中学习创造新机会。源代码、数据和补充材料已在线共享。