估计群体答案的高效征集方法

当众包创建机器学习数据集时，能够捕捉多样化答案的统计分布比单一最佳答案能更好地表示模糊数据。不幸的是，收集分布成本很高，因为需要收集大量 Response 才能形成稳定的分布。尽管如此，高效收集答案分布——即使用较少的人力努力来估计大量 Response 将形成的最终分布的方法——是一个研究不足的主题。在本文中，我们证明了这种估计是可能的，并描述了不同的征集方法以指导未来系统的开发。我们沿着两个维度研究了八种征集方法：标注粒度和估计视角。标注粒度通过以下方式进行变化：i）标注单一“最佳”标签，ii）标注所有相关标签，iii）对所有相关标签进行排序，或 iv）所有相关标签的真实值权重。估计视角通过提示工作者要么以其自己的答案回复，要么估计他们期望其他工作者会提供的答案来进行变化。我们的研究从1,960名众包工作者收集了面部图像情绪效价的序贯标注，结果表明，最细粒度的征集方法并不是最准确的，尽管工作者花更多时间提供答案。相反，最有效的方法是要求工作者选择他人会选择的所有相关类别。这导致达到与基线相同性能所需的人类时间减少了21.4%（即，以自己的视角选择单一答案）。通过分析细粒度标注性能下降的情况，我们有助于更好地理解答案征集方法之间的权衡。我们的工作使在大规模任务（如机器学习训练）中更易于使用答案分布，并旨在激发未来关于高效估计答案分布的技术的工作。