面向可关联的可解释人工智能与感知过程

文献标题

Towards Relatable Explainable AI with the Perceptual Process

文献信息

• 主题领域: 可解释人工智能 (Explainable AI, XAI)，特别是感性任务中的对比性解释
• 关键词: 可解释人工智能（XAI）、对比性解释、语音情感识别、深度学习模型、用户需求、人类认知

研究背景与问题

• 问题与挑战:

  • 机器学习模型通常很复杂，难以被实际用户理解，这限制了其在现实世界中的应用。
  • 当前对比性解释方法仍然过于基础，缺乏语义意义，难以与人的认知关联。
  • 特别是在音频数据领域，现有的解释方法（如基于声谱图的显著性图）过于技术化，难以被普通用户接受和理解。

• 重要性:

  • 可解释性是实现负责和可信赖人工智能的关键因素。
  • 音频领域的应用（如语音情感识别）需要能够与人类的感知过程相符的解释方法以促进应用和信任。

• 研究动机:

  • 受到人类感知过程（Perceptual Process）理论的启发，提出一种更易关联的解释框架，使解释能更符合用户对于概念、假设及关联的认知需求。
  • 探讨多种对比性解释（Contrastive Explanations），涵盖显著性、反事实以及补充性线索。

解决方案

• 提出的框架与模型:

  • XAI Perceptual Processing Framework: 结合人类感知过程的理论，框架分为三阶段：选择（Select）、组织（Organize）和解释（Interpret）。
  • RexNet模型（Relatable Explanation Network）: 模块化多任务深度学习框架，支持以下三种对比性解释：
    1. 显著性对比（Contrastive Saliency）: 生成对比显著性图，帮助用户理解模型关注的输入特征。
    2. 反事实示例（Counterfactual Synthetic）: 使用生成对抗网络（StarGAN-VC）生成风格转换后的语音样本，展示与目标分类的差异。
    3. 对比线索（Contrastive Cues）: 提供与情感相关的语音线索（如高频能量、音量等）的对比。

• 创新之处:

  • 借鉴人类认知心理学，将感知理论引入AI解释设计。
  • 提出有机结合显著性、反事实示例和线索信息的模型架构。
  • 第一次在音频预测任务中应用可关联的解释方法。

• 实施步骤:

  • 使用RAVDESS数据集训练语音情感分类模型，并将其扩展为RexNet，通过基于语法图的CNN实现情感预测。
  • 对解释模块进行整合，并通过渐变类激活映射（Grad-CAM）、生成对抗网络（GAN）和特征相关性传播层（LRP）等技术实现解释生成。
  • 通过建模研究和用户实验评估解释的使用和效果。

研究成果

• 具体成果:

  • 建立并验证了XAI Perceptual Processing Framework和RexNet框架。
  • 提出了对比显著性图、反事实示例生成和对比线索三种解释形式，适用于语音情感识别任务。
  • 通过实验表明，反事实示例与对比线索解释在提升用户决策质量和信任感方面较为有效。

• 与现有解决方案对比的优势:

  • 与现有解释方法相比，RexNet的多元对比性解释显著提升了用户对模型预测的可理解性。
  • 不同于传统的显著性图解释，反事实示例和对比线索能够更加直接地与人类认知过程关联。

• 实验与评估结果:

  • 实验显示RexNet的初始情感分类准确率为79.5%，与传统CNN模型相比有显著提升（75.7%）。
  • 用户实验发现，结合反事实示例和对比线索的解释能够有效提升决策准确性和对模型的信任感，而显著性解释单独使用效果有限。

• 局限性与未来方向:

  • 局限性:
    • 当前反事实示例的生成仍有准确性不足的问题。
    • 显著性信息的可解释性需要进一步精炼。
    • 使用实例数据（而非生成语音）限制了反事实示例的多样性。
  • 未来研究方向:
    • 使用更先进的语音合成技术（如Seq2Seq-VC或StarGAN-VC v2）改善反事实生成的质量。
    • 探索如何进一步精炼显著性图的语义内容。
    • 将该框架应用于其他复杂领域（如医学诊断或工业检测）的感知任务解释。