众包新闻可信度评估差异研究：评估者、任务与专家标准

关于气候变化和疫苗安全等关键问题的错误信息经常在在线社交和搜索平台上被放大。众包内容可信度评估作为一种对抗错误信息的策略被提出，旨在复制大规模专家评估。本研究调查了人群与专家对新闻可信度的评估，以了解他们之间的评分差异及原因。我们收集了超过4,000条可信度评估数据，来自4个人群和专家群体对50篇与气候科学相关的多样化新闻文章进行的评估。通过分析评分，我们发现由于人群构成（如评估者人口统计和政治倾向）以及分配给人群的评估任务范围（如文章体裁和出版物倾向性）导致了绩效差异。研究进一步揭示了专家评估之间的差异，源于新闻与科学专家使用的不同标准——这些差异可能导致人群评估差异，但也指出可以通过设计针对特定专家标准的任务来缩小差距。基于这些发现，我们概述了未来研究方向，以更好地设计适合特定人群和内容类型的群体流程。