众包排名中算法不稳定的根源

众包系统聚合了许多人的决策，以帮助识别高质量选项，例如问题的最佳答案或有趣的新闻故事。众包中一个长期存在的问题是选项质量与人类判断启发式如何交互以影响集体结果，例如选项的感知受欢迎程度。我们通过进行一项受控实验来解决这一限制，让受试者在两个可以独立改变质量的排名选项之间进行选择。我们用这些数据构建了一个模型，量化了判断启发式和选项质量在两个选项之间决策时的结合方式。该模型揭示了受欢迎程度排名在临界点以下是不稳定的：如果两个选项之间的质量差异足够高，则较高质量的选项最终会被排在首位，然而，在低于某个质量差异的情况下这一点无法保证。为了纠正这种不稳定性，我们创建了一种算法，该算法考虑判断启发式来推断最佳选项并将其排在首位。如果数据与模型匹配这种方法是有保证的最优的，模拟表明这种方法在任何二元选择问题上的表现都优于或至少与基于流行度和基于时效性的排名一样好。我们的工作表明，依赖用户行为数学模型推断的算法可以显著改善众包系统的结果。