Wikibench：基于社区的数据整理用于维基百科上的人工智能评估

文献标题

Wikibench: Community-Driven Data Curation for AI Evaluation on Wikipedia

文献信息

• 主题领域: 社区驱动的数据标注与人工智能评价
• 关键词: 社区驱动AI, 数据标注, AI评估, 数据不确定性, Wikipedia, 公平性, 人机协作, 数据透明, 标签一致性, 机器学习模型

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 人工智能（AI）工具越来越多地部署在社区环境中，如Wikipedia。在这些环境中，AI评估数据集通常由开发者或外部标注员创建，可能导致对AI性能的误导性结论。
  • 一些现存数据集在表达社区特定规范和价值方面存在系统性不足，比如将非冒犯性语言错误地标注为有害内容。
  • 当前社区对AI工具适用性评估的手段有限，缺乏必要的基础设施支持社区主导的数据集策划。

• 为什么这个问题很重要？

  • 数据集质量直接影响AI的评估结果和部署后的表现，误导性评估可能导致用户体验下降或对弱势社区造成伤害。
  • 提高数据标注的社区一致性有助于更真实地反映社会复杂性和文化多样性，避免工具中的偏见。

• 研究动机与相关工作

  • 借鉴图书馆研究中的社区档案传统，该领域强调非精英和边缘群体的声音，启发新的AI数据标注方法。
  • 提现有的AI评估技术通常处理标签分歧采取后处理方式，但缺乏促进社区成员讨论和协商的机制。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发了一个新的系统——Wikibench，支持Wikipedia社区成员协作标注AI评估数据集，解决标签争议并处理不确定性。
  • 系统通过插件（Plug-in）、实体页面（Entity Page）和活动页面（Campaign Page）嵌入Wikipedia现有工作流。

• 该解决方案的创新之处是什么？

  • 探索社区驱动的数据策划策略，让社区有能力主动决定哪些数据点应该被标注以及如何标注。
  • 实现社区通过协商形成一致性主标签（Primary Label），并保留代表个人观点的独立标签（Individual Label）。
  • 支持社区成员共同制定标签定义和数据包含标准，体现最大限度的透明度。

• 实施步骤是什么？使用了哪些关键技术？

  • 插件嵌入编辑巡查页面，允许标签标注与日常活动无缝结合。
  • 实体页面显示数据点的所有标签情况并支持讨论，通过Wikipedia的“讨论页面”机制帮助解决分歧。
  • 活动页面公开整个数据集，并展示标签分歧或需要更多关注的数据点，引导讨论和进一步标注。
  • 设计确保数据协作符合Wikipedia的社区规范，如“大胆、撤销与讨论（BRD）循环”。

研究成果

• 取得了哪些具体成果？

  • Wikibench成功收集了757条Wikipedia编辑数据，并形成反映社区共识、分歧与不确定性的数据集。
  • 通过验证研究表明，与传统工具Wikilabels相比，Wikibench生成的主标签更具社区一致性。
  • 数据集用于评估Wikipedia两种AI模型（ORES和Revert-Risk）的社区一致性，发现ORES的行为更贴近社区观点。

• 与现有解决方案相比，它有哪些优势？

  • 相较于Wikilabels的线性标注机制，Wikibench支持协作标注与社区主导的标签定义，更真实地呈现社区共识。
  • 捕捉数据中的标签分歧和不确定性，支持更细腻的AI评估方法。

• 实验或评估结果是什么？

  • Wikibench生成的主标签与通过Wikipedia标准协商流程标注的验证标签具有更高的一致性。
  • ORES模型在社区驱动的数据集上的表现优于基于历史编辑数据训练而成的Revert-Risk模型。

• 局限性与未来方向

  • 数据集并未完全代表Wikipedia的编辑分布，可能限制某些AI评估目的。
  • 如何平衡用户参与程度和时间效率仍需进一步探索。
  • 可研究如何将Wikibench扩展到其他社区环境，如Reddit、Mastodon等，并开发社区可视化工具支持更复杂的AI评估。