"帮助我帮助AI": 理解可解释性如何支持人机交互

文献标题

“Help Me Help the AI”：理解可解释性如何支持人机交互

文献信息

• 主题领域: 人机交互中的可解释人工智能 (XAI) 设计与应用。
• 关键词: 可解释人工智能 (XAI), 人机交互, 人机协作, 计算机视觉, 本地解释, 人工智能解释需求, 用例研究

研究背景与问题

• 发现的问题与挑战:

  • 尽管近年来可解释人工智能 (XAI) 方法日益普及，但针对AI最终用户的具体需求和使用行为的研究相对匮乏。
  • 当前XAI方法主要侧重于研究者和开发者的需求，而未针对实际场景中普通用户的需求提供充分支持。
  • 现有XAI方法在对计算机视觉系统的大量模型参数和像素输出可视化时，往往受限于研究者能力，而难以直接满足最终用户的实际需求。

• 研究重要性:

  • 随着人工智能系统越来越多地被应用到医疗、交通、消费等领域，提高这些系统的可解释性对增进信任和提升协作具有重要意义。
  • 可解释性不仅有助于理解AI的决策，还可能帮助用户提升自身能力及决策质量，从而更好地与AI系统协作。

• 研究动机与相关工作:

  • 作者明确了三大研究问题 (RQs):
    1. 最终用户在实际AI应用中的解释需求是什么？
    2. 最终用户如何打算使用XAI解释？
    3. 最终用户如何评价现有XAI方法？

解决方案

• 方法与解决方案:

  • 采用混合方法研究，选取实际AI应用（Merlin鸟类识别应用）的20名用户进行采访、调查和解释偏好评估。
  • 针对用户需求设计了四种代表性XAI方法的原型解释：
    • 热图 (heatmap)
    • 示例 (example-based explanations)
    • 概念 (concept-based explanations)
    • 原型 (prototype-based explanations)

• 创新之处:

  1. 着眼于真实场景中的XAI需求，将XAI方法与最终用户实际使用进行对接。
  2. 引入不同的XAI设计原型，以了解现有方法如何满足用户需求及其具体用途。
  3. 关注用户如何通过XAI改进人与AI间的协作，而非仅仅理解其输出。

• 实施步骤与关键技术:

  1. 用户调研与背景划分: 根据鸟类领域和AI认知背景，选定多样化的用户样本。
  2. 访谈设计: 包括用户背景信息、开放式问题、基于XAI问题库的调查问卷和对XAI原型的反馈收集。
  3. XAI原型开发: 包括视觉解释（热图、原型区域匹配）、通过文本显示数据的解释（概念、示例）。
  4. 数据分析: 基于访谈数据和编码过程，提炼用户的XAI需求、用途和感知评价。

研究成果

• 主要成果:

  1. 用户需求依据背景和兴趣大不相同，但所有用户普遍希望获得可以提升人与AI协作的信息：
     • 无论技术背景如何，他们需要从AI中获取实际有用的内容（例如功能范围、系统限制）。
  2. 用户期望XAI解释具备多种用途：
     • 校准对AI的信任。
     • 改善自己的任务技能。
     • 为开发者提供详细的反馈信息以改进系统。
  3. 用户整体倾向于“基于部分”的解释方法（概念/原型），因为其更接近人类思维模式，对于增强使用体验和教育用户尤其有帮助。

• 与现有解决方案的对比:

  • 现有热图和示例方法虽然容易理解，但被认为过于模糊，很难直接提供可操作信息。
  • 概念和原型方法因其细致可操作的单元化解释受到用户欢迎，占优。

• 实验与评估结果:

  • 解释需求评估: 用户普遍希望系统透明化但会因背景不同而有不同投入程度。
  • 对四种XAI方法的偏好: 原型方法最受欢迎，且用户广泛建议结合多个解释形式增强信息量。
  • 用户协作视角: 解释视为提升输入质量或优化与AI协作的重要工具。

• 局限性与未来方向:

  • 局限性:
    • 研究集中于单一应用 (Merlin)，在其他应用中可能需要验证。
    • 对开发者和其他利益相关群体的需求尚未覆盖。
  • 未来方向:
    • 扩展用户群体，增加场景多样性。
    • 开发多模式、多形式的组合型解释。
    • 进一步研究用户建议的反馈循环设计，为AI与人类协作打造高效机制。

总结: 这项研究明确指出了最终用户在解释需求上的多样化，并展示了XAI方法在提升信任、任务协作和教育用途方面的潜力。研究强调了用户参与对XAI设计的重要性，为未来基于实际场景的XAI研究提供了路线图和设计建议。