留意更新：理解AI辅助决策中模型解释更新的影响

文献标题

Watch Out for Updates: Understanding the Effects of Model Explanation Updates in AI-Assisted Decision Making

文献信息

• 主题领域: 人机交互 (HCI)、可解释人工智能 (XAI)、人工智能模型更新对用户决策的影响
• 关键词: 可解释性人工智能 (XAI), 模型更新, 用户信任, 人机决策, 实验研究, 人类领域知识, 可视化解释, 主观信任, 用户满意度, 人工智能辅助决策

研究背景与问题

• 发现问题或挑战:

  • AI 推荐系统的解释性在帮助用户理解模型决策方面越来越关键。
  • AI 模型通常需要更新，而这些更新可能导致模型解释发生显著变化。
  • 用户如何感知模型解释的变化，以及这种变化如何影响他们对模型的信任和满意度，尚未得到全面理解。

• 重要性:

  • 模型解释的变化可能影响用户对模型的信任和依赖，从而对人机协作的决策质量产生潜在影响。
  • 理解这一问题有助于设计更可靠的AI解释方法，确保模型更新后的用户体验更平稳。

• 研究动机与相关工作:

  • 关于用户与静态 AI 模型的交互已有许多研究，但针对 AI 模型动态更新的用户反应研究较少。
  • 虽然部分研究探讨了模型预测和性能的变化对用户信任的影响，但对模型解释本身变化的影响缺乏深入研究。
  • 与用户先验知识的一致性可能是影响用户反应的一个关键因素。

解决方案

• 方法或解决方案:

  • 提出以实验方法研究 AI 模型解释变化的框架。
  • 使用随机对照实验(RCT)研究不同相似度的模型解释更新对用户主观信任、满意度及客观采纳倾向的影响。

• 创新之处:

  • 探讨模型解释在更新后与用户领域知识一致性的作用，这一方面以往研究中较少深入。
  • 设计了两个实验场景以比较领域知识水平的影响：一个用户领域知识较少（毒蘑菇预测）的任务和一个用户领域知识较多（贷款违约预测）的任务。
  • 将用户感知的"相似性"与模型更新前后解释的一致性和偏差系统地联系起来。

• 实施步骤及技术:

  1. 设计实验：分为两阶段决策任务，模拟 AI 模型的解释更新。
  2. 设置实验变量：对比更新前后模型解释的相似度 (高相似度、中等相似度、低相似度)。
  3. 招募受试者并收集决策行为数据与主观反馈。
  4. 使用统计回归与路径分析建模，识别模型解释变化对用户信任和满意度的潜在机制。

研究成果

• 具体成果:

  1. 用户能够感知模型更新后解释的变化。
  2. 对于领域知识较少的任务，解释变化对用户的主观和客观信任没有显著影响。
  3. 对于领域知识较多的任务，解释变化显著影响用户的主观信任和满意度，而具体的影响方向依赖于解释更新后与领域知识的一致性。

• 优势:

  • 提供了丰富的实验数据和路径分析模型，揭示了用户对AI解释更新的复杂反应机制。
  • 强调了领域知识作为调节因素的重要性，为设计更加用户友好的解释方法提供了依据。

• 实验或评估结果:

  • 在毒蘑菇预测实验中，低解释相似度组的用户更容易感知到解释的变化，但没有对主观信任或满意度产生显著影响。
  • 在贷款违约预测实验中，当模型解释更新后更加符合（或不符合）用户领域知识时，用户的主观信任和满意度显著提高（或降低）。
  • 路径分析揭示了以下机制：解释变化通过改变用户对模型准确性和一致性的感知进而影响信任和满意度。

• 局限性与未来方向:

  • 局限性：
    • 实验场景和任务的简化可能不完全反映真实世界中的复杂情况。
    • 模型更新仅体现解释的变化，而未结合预测结果的变化。
    • 使用的量化指标（如信任测量）可能不能完全反映用户对AI的真实感知。
  • 未来方向：
    • 进一步研究模型预测与解释同时变化情况下的用户反应。
    • 探索更复杂的实际应用场景（如医疗诊断或自动驾驶）。
    • 将专家反馈或数据透明性纳入模型更新设计，与解释更新相结合。