GuessTheKarma：一款用于评估社交评级系统的游戏

流行度系统，如Twitter转发、Reddit点赞和Pinterest收藏，有潜力引导人们关注他人喜欢的帖子。然而，这创造了一个降低信息量的反馈循环：被标记为更受欢迎的帖子获得更多关注，因此额外的点赞和转发可能仅仅反映增加的关注，而不是关于喜欢该帖子人口比例的独立信息。我们还能保留多少信息？例如，如果Reddit上A帖子有数百个点赞，而B帖子只有几个，我们能有多大把握确定更多人喜欢A而不是B？我们使用名为GuessTheKarma的互联网游戏进行研究，收集了400对图像的独立偏好判断（N=20,674），每对约50个评价。与主导社交媒体服务的评级系统不同，GuessTheKarma没有影响评级的社交和排名效应。总体而言，Reddit评分并不是预测项目真实人口偏好的好指标，正如GuessTheKarma所衡量的那样：只有在68%的情况下，得分较高的图像才会被独立评分者偏好。然而，当一张图像得分较低，另一张是其subreddit中得分最高的图像时，得分较高的图像在90%的情况下被独立评分者偏好。类似地，图像的Imgur浏览量也是较差的预测指标，除非配对之间存在数量级的差异。我们得出结论，标注有反馈循环的流行度系统可能传达了关于人口偏好的强烈信号，但只有在比较获得截然不同流行度分数的项目时。