人们如何根据评分进行排序？

按用户评分对项目进行排序是现代网络的基本交互模式，用于对产品（亚马逊）、帖子（Reddit）、企业（Yelp）、电影（YouTube）等进行排名。为了实现这一模式，设计师必须接受每个项目的评分分布，并定义一个合理的总排序。这是一个具有挑战性的问题，因为每个分布都是从不同的样本总体中抽取的，使得最直接的排序方法——比较平均值——在样本量小或不同大小时变得不可靠。文献中提出了几种针对二元评分的统计排序方法（例如，基于威尔逊得分或拉普拉斯平滑），每种方法都试图解决由抽样引入的不确定性。在本文中，我们通过人类感知的视角研究了这种不确定性，并提出了“人们如何根据评分进行排序？”的问题。在线研究中，我们从4000名众包工作者那里收集了48000个项目排名对以及4800个理由，并分析了结果以了解用户在比较评分项目时如何做出决策。我们的研究结果揭示了用户在选择评分分布时所使用的认知模型，哪些类型的比较最具争议性，以及评分信息的呈现方式如何影响用户的偏好。