锚定偏差影响可解释人工智能系统中心智模型形成与用户依赖

文献标题

Anchoring Bias Affects Mental Model Formation and User Reliance in Explainable AI Systems

文献信息

• 主题领域: 人机交互、可解释人工智能的认知偏差、用户依赖性
• 关键词: 可解释人工智能 (XAI)、认知偏差、人机交互 (HCI)、用户研究、锚定偏差、自动化偏差、视频活动识别、心理模型、自信度分析

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 可解释人工智能(XAI)的目的是提高用户对AI模型的透明性和理解，但用户的心智模型仍可能受锚定偏差等认知偏差的影响。
  2. 系统的强点和弱点的展示顺序可能会干扰用户的心智模型、任务表现以及对系统的依赖程度。
  3. 解释机制是否能减轻这些认知偏差尚不明确。

• 为什么这个问题很重要？

  • 锚定偏差可能导致用户对AI系统的过度信赖或不可信赖，分别产生自动化偏差和潜在误解，对实际的决策和任务执行能力有重要影响。
  • 开发者需要对这些偏差有清晰认识才能设计更优化的可解释系统。

• 研究动机与相关工作

  • 以往研究显示，首次接触智能系统的印象（强点或弱点）可能影响长期效果。
  • 过去探索了与信赖和认知偏差相关的机制，但少有研究深入探讨XAI系统的顺序效应。

解决方案

• 作者提出了哪些方法或解决方案？

  • 使用一种解释型视频活动识别工具，研究用户如何在不同的展示条件下构建心理模型。
  • 设计并实施2x2控制用户实验，探究“系统强点/弱点展示顺序”和“解释内容的有无”对用户心理模型的影响。

• 该解决方案的创新之处是什么？

  • 区别于仅关注模型精度的传统研究，本研究探索了先前未被深入研究的认知顺序效应及其与解释机制的交互作用。
  • 实验设计为自由探索场景，模拟了用户在现实世界中使用AI决策工具的复杂性。

• 实施步骤是什么？使用了哪些关键技术？

  1. 开发基于TACoS数据集的解释型深度学习视频活动识别模型，用视频分割、错误检测和局部解释帮助用户理解模型工作逻辑。
  2. 设置条件：
     • 政策顺序：先展示系统强点或者弱点
     • 是否提供解释
  3. 设计开放式任务：验证厨房规则的遵守情况。
  4. 收集并分析用户的任务表现、心智模型构建、系统依赖性等多项测量指标。

研究成果

• 取得了哪些具体成果？

  1. 顺序效应：
     • 观察系统强点的用户更倾向于过度依赖系统，导致更多错误。
     • 观察弱点的用户依赖性较低，错误减少，但低估了系统能力。
  2. 解释的影响：虽然解释增强了用户对任务的自信，但并未完全消除偏差。
  3. 度量分析：用户对解释中的视频片段最感兴趣，比其他元素更具使用价值。

• 与现有解决方案相比，它有哪些优势？

  • 该研究不仅强调用户在XAI系统中的任务表现，还特别关注用户心理模型的形成方式，填补了现有研究在认知偏差领域的空白。

• 实验或评估结果是什么？

  1. 使用带解释的系统时任务完成效率提高，但解释未能完全纠正顺序效应导致的偏差。
  2. 无论是否提供解释，观察系统弱点的用户错误率显著低于观察强点的用户。
  3. 依赖性和信任感受到显著的认知锚定影响，且解释机制无法完全消弭其影响。

• 局限性与未来方向

  • 局限性：
    1. 仅研究了视频活动识别模型，结果可能不适用于所有XAI问题。
    2. 用户的测量以任务表现和自评为主，尚未涵盖更复杂的认知行为。
  • 未来方向：
    1. 探究全局解释（而非仅实例级）对减轻认知偏差效应的效果。
    2. 对不同类型的用户界面或更复杂的AI系统进行更广泛的测试和验证。
    3. 研究通过动态交互进行心理模型矫正的策略。