一切都是相对的！一种对抗众包新闻文章立场检测中人类偏见的方法

视频

DOI

利用人类智能识别新闻文章的政治立场在研究和实际应用中很常见。但人类判断可能存在偏见，且由于对任务的理解和政治立场而产生错误。本文提出了一种基于新闻文章相对于评分者自身立场的相对评级方法，以避免理解不一致并控制众包新闻立场检测中的人类偏见。我们还展示了如何使用相对评级来构建评分者对政治话题的立场度量，并识别出评级质量高于他人的评分者。我们在我们招募Amazon Mechanical Turk用户作为枪支控制相关新闻文章评分者的在线实验中实施了我们的方法。使用实验数据，我们发现评分者自身对枪支控制的立场显著影响了相关新闻文章的评级，无论是个体层面还是聚合层面。我们还提供了证据证明我们基于相对评级的立场度量比评分者的自报立场能捕获更多关于评分者实际立场的 information。