判断筛子：通过针对歧义与分歧的干预减少群体判断中的不确定性

当一群人被要求做出判断时，不确定性问题是常见的。减少不确定性的现有方法通常侧重于迭代改进整体任务说明的特异性。然而，不确定性可能来自多个来源，例如由于有限的上下文导致被判断项目的歧义，或由于参与者的不同观点和任务未充分说明而导致的分歧。如果一刀切的干预没有针对正确的不确定性来源，则可能无效。在本文中，我们引入了一个新工作流程「判断筛子」，以有针对性的方式减少涉及群体判断的任务 中的不确定性。通过利用在判断征集初始轮次中分离不同不确定性来源的测量，我们可以选择有针对性的干预措施，添加上下文或深思熟虑，以最有效地减少每个被判断项目的不确定性。我们在两项任务上测试了我们的方法：词对相似性评分和在线评论的有毒程度，表明有针对性的干预减少了最不确定情况下的不确定性。在前 10% 的案例中，我们分别看到两项任务的歧义减少 21.4% 和 25.7%，分歧减少 22.2% 和 11.2%。我们还通过模拟发现，我们的有针对性的方法减少了两个不确定性来源的平均不确定性分数，而统一方法则导致一个来源的平均不确定性减少伴随着另一个来源的增加。