基于细粒度行为特征的众包质量控制

众包在大规模数据收集和标注中很流行，但主要挑战在于检测低质量提交。最近的研究表明，工人的行为特征与数据质量高度相关，可用于质量控制。然而，这些研究主要利用粗略提取的行为特征，未能在细粒度层面（即标注单元层面）进一步探索质量控制。在本文中，我们研究使用细粒度行为特征的可行性和好处——这些特征是从工人在子任务中与每个单独单元的个体交互中精细提取的——用于众包质量控制。我们设计并实现了一个名为细粒度行为质量控制（FBQC）的框架，专门提取细粒度行为特征以提供三种质量控制机制：（1）客观任务的质量预测，（2）主观任务的可疑行为检测，（3）无监督的工人分类。使用FBQC框架，我们进行了两个真实世界的众包实验，并证明在所有三种质量控制机制中使用细粒度行为特征是可行且有益的。我们的工作为帮助任务请求者或众包平台进一步实现更好的质量控制提供了线索和启示。