展示工作：事实核查员对可解释自动化事实核查的要求

研究背景与问题

作者发现了哪些问题或挑战？

1. 由于在线媒体中大型语言模型（LLMs）和生成式人工智能的广泛应用，虚假信息的数量和复杂性显著增加，导致事实核查者难以跟上。
2. 当前的自动化事实核查系统缺乏可解释性，这使得事实核查者无法有效审查系统输出。
3. 现有技术通常关注模型表现而非实际应用需求，与事实核查实践脱节。

为什么这个问题很重要？

• 虚假信息对社会稳定造成威胁，尤其在政治、健康和社会媒体语境中。
• 自事实核查项目数量达到顶峰后，资源紧缺导致项目数量开始下降，进一步加剧核查工作负担。
• 增强事实核查工具的可解释性对于应对生成式AI驱动的虚假信息浪潮至关重要。

研究动机与相关工作

• 作者指出，事实核查是一个复杂的任务，需要专家知识、研究技能以及对来源的适当判断。
• 事实核查者对现有自动化工具保持怀疑态度，认为这些技术无法满足实际需求，特别是在缺乏合理解释的情况下。
• 本研究希望深入了解事实核查者的需求，以推动开发真正有效的自动化工具。

解决方案

作者提出了哪些方法或解决方案？

1. 通过与来自五大洲的10名事实核查专业人士进行半结构化访谈，作者探索了事实核查者的工作流程、决策过程及解释需求。
2. 提出了针对各个事实核查过程步骤（如选择待核查的主张、检索证据、判定真伪以及传播核查结果）的具体说明和需求。

该解决方案的创新之处是什么？

• 与事实核查者直接合作，以确定关键的解释需求，避免传统研究中研究者假设与真实用户需求的脱节。
• 提出多阶段解释需求，包括不确定性、证据质量、复制性和违规过程的解释。
• 调查事实核查者使用多种工具如何填补单一工具的缺失，并提出了工具整合的方向。

实施步骤是什么？使用了哪些关键技术？

1. 招募多地域、多背景的事实核查者，重点关注其对AI工具的看法及实际使用经验。
2. 通过主题编码和数据分析，以归纳事实核查者在工作过程中对解释和工具性能的具体需求。
3. 结合自动化事实核查的现有文献，为开发可解释工具提供具体建议。

研究成果

取得了哪些具体成果？

1. 作者确定了事实核查过程的四个关键步骤：主张选择、证据检索、真伪判定和结果传播。
2. 提出解释性需求如：
   • 提供当地解释，指向具体证据并标明不确定性来源。
   • 允许使用者验证自动化工具输出的推理过程。
   • 提供相关背景信息，解释模型训练数据的来源及质量。

与现有解决方案相比，它有哪些优势？

• 整合人机协同视角，通过工具弥补事实核查者工作中的不足，而不是完全替代人类决策。
• 对工具的解释需求进行了精细拆分，而不仅仅关注单一阶段的任务。
• 强调以事实核查者工作流程为蓝图设计工具逻辑，而非完全自主的AI逻辑。

实验或评估结果是什么？

• 发现事实核查者对AI工具的接受程度受到工具解释的透明性及其与人工过程的匹配程度影响。
• 事实核查者相信工具可帮助缓解工作负担，但指出现有工具解释混乱且缺乏信任基础。
• 忽视语言与文化多样性的现有工具性能较低，不符合非英语语言的事实核查需求。

局限性与未来方向

局限性：

• 样本量较小，仅包含10名参与者，可能未能全面覆盖全球事实核查实践。
• 所有访谈仅使用英语进行，可能对非英语母语的核查者造成一定限制。

未来方向：

1. 探索如何设计工具，让解释能够适应不同文化和语言背景的事实核查需求。
2. 研究如何量化与表示AI工具的“不确定性”，以更贴近事实核查者的直觉和逻辑。
3. 针对复杂事实核查过程，开发多步骤的技术解释框架，包括从证据检索到最终判决的完整链条。
4. 扩展与事实核查者的全球合作，通过结合多区域需求改进技术工具。

这项研究为自动化事实核查工具的开发提供了宝贵的指导，尤其是强调了人类用户在解释性需求上的核心地位。