人们在解释自动驾驶汽车的行为时将其归因于自主车辆的属性：来自认知科学的可解释人工智能的见解

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 当前解释性人工智能 (XAI) 的设计往往与人类的认知模式不匹配。尤其是在涉及复杂决策的领域（如自动驾驶汽车）的应用中，人们倾向于用目的性（teleological）的方式理解系统行为，而XAI系统通常生成机械性（mechanistic）的解释。
  • XAI中的研究更多地集中在算法层面，但缺乏对解释生成以及人类如何构建和接受解释的认知科学研究支持。
  • 现有的XAI评价指标，例如“忠实性”(fidelity)，过于关注算法与解释的一致性，而忽视了人类如何评估和偏好这些解释。

• 为什么这个问题很重要？

  • 自动驾驶是一个安全关键领域，其决策需要被人充分理解，以便建立信任并促进人机协作。
  • 探索人们如何生成和接受解释，有助于设计更符合直觉的、以人为中心的XAI系统。
  • 如果解释不能满足人类心理需求，可能会导致用户对系统的误解或不信任。

• 研究动机与相关工作

  • 受认知科学中关于因果性和解释机制的启发，本研究提出了一种分析解释的框架，包括目的性、机械性、反事实性（counterfactual）和描述性（descriptive）几种模式。
  • 作者希望通过实验研究探索这些不同解释模式对于人类理解和信任体系的影响，并以此填补当前XAI领域在人类解释认知机制研究中的空白。

解决方案

• 作者提出了哪些方法或解决方案？

  • 构建了一个关于人类解释生成与接收的框架，涵盖目的性、机械性、反事实性等多种解释模式。
  • 研究设计包括两个实验：第一个实验探索受试者在观看自动驾驶场景时如何生成解释；第二个实验评估这些解释的质量与特性。
  • 创建了名为“Human Explanations for Autonomous Driving Decisions (HEADD)” 的数据集，用于实验分析和进一步研究。

• 该解决方案的创新之处是什么？

  • 提出以认知科学为基础的“解释性模式框架”来分析和生成解释，而非限于传统的算法导向方法。
  • 通过两个实验分别调查了“人类如何生成解释”和“人类如何评估解释”，实现了解释生成与接受的闭环研究。
  • 提出了结合目的性和认知科学的因果解释设计理念，用以改进现有XAI系统，使其更贴合人类直觉。

• 实施步骤是什么？使用了哪些关键技术？

  • 第一实验：生成解释
    1. 展示包含14个驾驶场景的视频，要求参与者用四种解释模式（目的性、机械性、反事实性、描述性）生成关于自动驾驶汽车行为的自然语言解释。
    2. 收集并预处理这些解释，对内容进行分析。
  • 第二实验：评估解释
    1. 将第一实验中的部分解释呈现给另一组参与者，要求他们根据解释的不同维度（如满足感、因果性、信任度等）进行评价。
    2. 使用混合效应模型分析模型，统计各解释模式的评价结果。
  • 数据处理与分析技术：应用自然语言处理技术解析生成解释的句法和语义复杂性；基于R语言和统计模型分析实验数据。

研究成果

• 取得了哪些具体成果？

  • 人们更倾向于使用和接受目的性（teleological）的解释，这些解释通常包含行为的目标或意图，这种倾向在解释自动驾驶汽车和人类驾驶员行为时一致。
  • 反事实性解释的复杂性较高，但满意度和信任度最低，暗示其可能不是复杂系统最佳的解释模式。
  • 实验发现，“感知到的目的性”（是否涉及目标或意图）是“解释满意度”和“信任度”的最重要预测因子。

• 与现有解决方案相比，研究有哪些优势？

  • 本研究提供了基于认知科学的新视角，超越现有依赖于算法实现的XAI方式，更加聚焦于人类心理和行为模式。
  • 提供了一个开放数据集（HEADD），可以供未来研究探索人类解释生成与评估的更多维度。
  • 提出了不同解释模式作为XAI系统设计和评估的重要维度，有助于改善复杂环境下的解释性能。

• 实验或评估结果是什么？

  • 目的性和机械性解释的满意度显著高于反事实性解释（p < 0.01）。
  • 句子长度和语言复杂度对解释满意度有正向影响，但这种影响在目的性解释下更大。
  • 不论受试者知道车辆是自动驾驶还是人类驾驶，对目的性解释的偏好并无差异（p = 0.44）。

• 局限性与未来方向

  • 局限性：
    1. 实验仅限于自动驾驶领域，未来需要验证结果在其他领域的通用性。
    2. 数据来源主要是美国的参与者，可能存在文化偏向。
    3. 实验中“目的性”和“机械性”解释有时会混杂，未能严格分离。
  • 建议未来方向：
    1. 扩展研究到其他复杂领域，比如医疗诊断或金融决策。
    2. 探讨不同文化背景下人们对XAI解释模式的偏好差异。
    3. 研究如何平衡不同解释模式以提升用户对系统行为的理解和控制感。
    4. 结合“目的性”解释的设计，开发更贴合直觉且可靠的自动驾驶辅助解释模块。