模板和信任测量仪：迈向维基百科信任指标的广泛应用

文献标题

Templates and Trust-o-meters: Towards a widely deployable indicator of trust in Wikipedia

文献信息

• 作者: Andrew Kuznetsov, Margeigh Novotny, Jessica Klein, Diego Saez-Trumper, Aniket Kittur
• 出版年份: 2022
• 会议名称: CHI Conference on Human Factors in Computing Systems（CHI ’22）
• 出版地点: New Orleans, LA, USA
• DOI: 10.1145/3491102.3517523
• 主题领域: 用户生成内容（User Generated Content，UGC）、信息信任、维基百科内容管理
• 关键词: Wikipedia, 信任指标, 用户界面设计, 自动化质量评估, 内容可靠性, 用户行为, 人机交互界面, 在线内容质量, 信息透明性

研究背景与问题

• 挑战与问题: 用户生成内容（例如维基百科）因社区开放性引发内容信任问题。尽管已有许多信任指标研究，这些方法普遍面临实际应用难题，包括如何在狭小屏幕空间内设计既显眼又不侵入式的信任标志，以及如何调整不同内容质量对应的信任感。
• 重要性: 建立信任指标不仅能够降低用户对低质量内容的信任，还能够增加高质量内容的信任感，从而提升用户体验，促进社区长期发展。
• 研究动机:
  • 已有指标多限于实验室环境，未解决实际部署中的“最后一公里”问题。
  • 当前模板往往着眼于问题警示，缺乏对高质量内容显著的信任提升。
  • 设计能够在全局范围提升读者对维基百科（及类似平台）信任的机制，使其具备广泛部署的潜力。

解决方案

• 提出的解决方案:

  • 通过实验验证现有维基百科模板和新增信任指标对用户信任影响。
  • 设计一种新型“信任计量器（Trust-o-meter）”，以紧凑、显著但不占用过多页面空间的方式传递信任信息。
  • 集成多种质量信号，将正负内容信号综合为简单可读的指标。

• 创新之处:

  • 开发既适用于实验也可实际应用的“复合信任计量工具”。
  • 实验范围涵盖多种信号（例如编辑争议、引用可信性、作者活跃度等）及其在不同信任程度下的效果。
  • 明确了用户信任变化的响应曲线及用户行为特性。

• 实施步骤:

  1. 实验 1：分析单一问题模板和新增指标对用户内容信任的影响。
  2. 实验 2：探索不同设计方案中信任计量器的视觉显著性及用户参与度。
  3. 实验 3：设计和验证复合信任计量器，同时测试其在内容信任和整体维基百科信任两个层面的作用。
  4. 对实施过程中受访用户的行为模式及信任模型进行特征分析，了解指标对用户不同背景和感知的适应性。

研究成果

• 具体成果:

  • 一些常用维基百科模板（如标记广告内容或利益冲突）显著降低用户信任；而新设计的“受争议引用”指标也有效减少了信任。
  • 正面信号（如高质量评分、无争议内容）未显著提升个别文章信任感，但复合信任计量器成功弥补了这一问题。
  • 实验表明，不熟悉维基百科内容生成过程的读者对信任指标的反应较为极端，反之熟悉用户反应更为平衡。

• 与现有解决方案比较:

  • 当前模板多以警告读者为目的，本文设计的工具强化了信任提升功能。
  • 作者明确了将信任指标从实验环境转移到实际部署中的可行性。

• 实验与评估结果:

  • 在实验中，负面信号如“引用争议”显著降低信任感（最大降幅为 1.601 分），正面信号未单独有效提升信任；但高质量文章的复合信任指标（如“绿色级别”）可提升近 +0.95 分。
  • 阅读器的注意力与指标的放置位置、大小及动画效果显著相关（“右上角闪烁”替代方法最显著，吸引注意力达 55%）。
  • 信任感的下降受争议文章影响更大，说明需要分级设计适应不同读者情景。

• 局限性与未来方向:

  • 局限性: 现有实验使用样本文章较长且内容丰富，关于短文章、低流量内容如何呈现信任计量存在研究空白。
  • 未来方向:
    • 扩展信任指标在全球内容社区的适应性，例如开源软件项目。
    • 探索社区协作式的信任评分系统，将编辑员纳入循环（community-in-the-loop-design）。
    • 联合自然语言处理技术，为难以量化的信号（如参考文献争议）提供更高效实现路径。