Goldilocks：基于相对不确定性的众包标量注释一致性方法

DOI

人类评分已成为训练和评估机器学习系统的关键资源。然而，传统的绝对和比较评分的引发方法存在一致性问题，且通常无法区分由于注释者之间分歧造成的不确定性与被评分项目固有的模糊性。在这项工作中，我们提出了Goldilocks，这是一种新型的众包评分引发技术，用于收集校准的标量注释，同时区分固有的模糊性与注释者之间的分歧。我们引入了两个主要思想：用示例锚定绝对评分量表，并使用两步边界过程建立项目放置的范围。我们在三个领域测试了我们的设计：判断在线评论的毒性、估计图像中食物的饱腹感，以及根据肖像估计年龄。我们表明（1）Goldilocks可以在量表解释不通用的领域提高一致性，并且（2）用范围表示项目使我们能够同时捕获不同来源的不确定性，从而更好地估计成对关系分布。