《解释性人工智能中的角色：人工智能背景如何影响对人工智能解释的感知》

文献标题

The Who in XAI: How AI Background Shapes Perceptions of AI Explanations

文献信息

• 主题领域: 人机交互、可解释人工智能 (XAI)
• 关键词: 可解释人工智能、人机交互、用户背景、认知偏差、设计优化、算法信任

研究背景与问题

• 发现的问题或挑战:

  • 当前许多可解释人工智能 (XAI) 的设计并未充分考虑用户的背景特征，如是否具备人工智能相关知识。
  • 不同群体对同一人工智能生成的解释可能有本质上的感知差异，这种差异可能导致不适当的信任或误解。
  • 尽管 AI 的透明性是系统设计的重要方面，但其实际影响可能与设计目标并不一致。

• 重要性:

  • AI 的可解释性是保障用户信任和负责决策的重要基础。特别是在涉及高风险领域（如医疗、法律、金融）的应用中，错误的感知可能引发严重后果。
  • 了解用户背景如何影响解释的感知，可帮助缩小开发者和最终用户体验的间隙，从而促使人机协作更具效率和责任性。

• 研究动机与相关工作:

  • 解释性研究起源于1980年代的专家系统，但深度学习等技术的发展加剧了模型可视化和用户理解间的矛盾。
  • 现有研究揭示了对算法解释的认知过程、用户的接受行为，但鲜有针对不同背景下的用户感知研究。
  • 作者提出：解释不仅是信息的传递，同时也是一种用户的意义构建过程，而这种意义受用户特征显著影响。

解决方案

• 方法或解决方案:

  • 提出了一种混合方法研究框架：
    • 定量分析不同群体对三种 AI 解释方式（自然语言解释、纯自然语言描述、数值解释）的偏好；
    • 定性分析寻求背后的认知过程、差异和共性。
  • 通过情境模拟实验，将AI解释设计为三种风格的表达：
    1. 自然语言解释（带理由）：解释 “为什么” 做出某一操作；
    2. 自然语言不带理由：描述 “什么动作” 被执行；
    3. 数值表示：透明地展示 AI 的决策依据（如 Q 值）。

• 创新之处:

  • 将用户背景纳入 XAI 的研究框架中，通过设计实验，系统探讨背景差异带来的解释感知变化。
  • 引入“认知启发式”和“技术挪用”作为分析视角，阐明用户行为背后的框架机制。

• 实施步骤与关键技术:

  • 采样两组用户：一组为 AI 学生，一组为没有 AI 背景的终端用户。
  • 通过用户观看包涵不同解释风格的视频，并要求从五个维度（理解性、智能性、信任感、友善程度、失败后重新信任）打分并解析偏好来源。

研究成果

• 具体成果:

  1. AI 背景组和非 AI 背景组对人工智能解释的感知显著不同：
     • AI 背景组偏好数值解释，并过度信任其智能性；
     • 非 AI 背景组则更关注自然语言解释的直观性和可信度。
  2. 出现了“无意的信息挪用”和“错误的信任行为”，两群体影响属性不一：
     • 数字的存在被两组用户错误地认为与算法逻辑和智能相关；
     • 非自然语言的数值解释对非 AI 用户表现出“智能性”，尽管其意义难以完全理解。
  3. 设计的自然语言解释得到了两组用户的共同偏爱，认为它更具交互性和吸引力，可胜任不同场景的应用。

• 与现有解决方案的比较:

  • 相较仅靠效用最大化的解释方法，此研究引入了细粒度的对背景用户的考量，为设计多样化可解释系统提供了理论支持。
  • 首次系统验证了用户的教育背景如何改变习惯性认知与工具的挪用，揭示普通数值型表达背后的信任风险。

• 实验结果与评估:

  • 五个维度的量化偏好分析突出“自然语言解释”的综合优势；
  • 通过开放性响应解码深入探讨了启发式与挪用行为的异同。

• 局限性与未来方向:

  • 局限性：
    • 样本主要来自学生（AI组）和MTurk用户（终端用户组），数据外推性有待验证。
    • 解释风格涵盖有限形式，尚未探讨更复杂的模态组合。
  • 未来方向：
    • 可扩展到不同类型的 AI 模型（如分类任务、医学预测）和不同行业应用。
    • 更深入探索用户群体结构化分层对解释感知的具体影响（例如工作背景、专业年限等）。

总结

本文通过对 AI 背景和终端用户感知的研究，提出了可解释性（XAI）设计中不可忽视的用户背景差异问题。相关研究不仅促进了设计改进，也推动了反思式的 AI 教育改革及更负责任的人工智能开发实践。