EXMOS：通过多方面解释和数据配置引导解释模型

文献标题

EXMOS: Explanatory Model Steering Through Multifaceted Explanations and Data Configurations

文献信息

• 主题领域: 可解释人工智能 (XAI) 与交互式机器学习 (IML) 在高风险领域（如医疗）中的应用
• 关键词: Explainable AI, XAI, Interactive Machine Learning, IML, Explanatory Interactive Learning, Interpretable AI, Responsible AI, Model Steering

研究背景与问题

• 发现的问题或挑战:
  当前机器学习模型中的解释方法是否可以有效帮助领域专家（例如医疗专家）进行数据调整并优化预测模型仍未深入研究。尤其是全球性模型导向解释与数据导向解释在指导用户进行数据配置方面的影响不明确。
• 重要性:
  在医疗等高风险领域，人工智能系统的透明性和解释性对于促使领域专家理解及信任系统具有重要意义，特别是当他们需要通过反馈机制调整训练数据和优化模型时。
• 研究动机与相关工作:
  1. 现有研究表明，数据导向解释可以揭示训练数据中的偏差、不一致性和质量问题，但主要集中于单一预测实例的解释（局部解释）。
  2. 模型导向解释（例如特征重要性分析）虽然广泛应用，但对领域专家而言可能不够行动性化（actionable）。
  3. 在高风险领域中，将领域知识与模型优化结合起来是必不可少的，但这方面的用户研究仍较少。

解决方案

• 提出的解决方法:
  作者提出了一个名为 EXMOS 的系统，该系统结合了数据导向解释和模型导向解释，通过手动和自动数据配置机制帮助领域专家优化机器学习模型性能。
• 创新之处:
  1. 调查了不同类型全球性解释（数据导向解释、模型导向解释及其混合）的影响。
  2. 引入了手动与自动数据配置机制，使领域专家能够灵活调整训练数据并即刻观察模型变化。
  3. 提供设计指南以提高解释驱动的交互式机器学习系统的有效性和效率。
• 实施步骤与关键技术:
  1. 解释仪表盘设计:
     • 数据导向解释：关键数据洞见、变量分布图（数据质量指示）、训练数据整体质量评价。
     • 模型导向解释：特征重要性、重要决策规则。
     • 混合解释：结合数据导向与模型导向解释的所有可视化组件。
  2. 数据配置机制:
     • 手动配置：用户通过过滤数据变量或调整变量范围，选择相关的预测变量。
     • 自动配置：通过检测和修正训练数据中的问题（如异常值、类别不平衡等），有效减少数据质量问题。

研究成果

• 具体成果:

  1. 定量研究结果:
     • 混合解释仪表盘（HYB）组的用户能够显著提高预测模型性能（模型准确率显著提升），但任务负载也较高。
     • 数据导向解释在理解数据布局和指导数据配置方面优于模型导向解释，且能显著改善系统透明度。
     • 用户对自动配置机制的使用效率不如手动配置，手动配置提供了更大的灵活性与控制感。
  2. 定性研究结果:
     • 数据导向解释提升了用户对系统的理解，有效促进了数据问题识别，并建立了用户对系统的信任。
     • 手动配置帮助用户探索数据，验证领域知识，同时提供了更高的可操作性。
     • 自动配置被认为节省时间，但需解释自动修正机制以提升透明度。
  3. 研究指出全球性模型导向解释对用户指导数据配置而言不足，同时强调了数据导向解释与模型导向解释结合的重要性。

• 优势:

  1. 混合解释组合使用户能够更全面地理解模型与数据，从而更有效地优化模型。
  2. 纳入领域专家的反馈机制，增强了模型优化的可靠性与个性化。

• 局限性与未来方向:

  1. 局限性:
     • 参与者样本集中于单一机构与年轻受试者；对年龄较大群体的反馈涵盖较少。
     • 尚未单独研究手动与自动数据配置的具体影响。
  2. 未来方向:
     • 随机化对照研究以进一步探索数据配置机制对用户信任与理解的独立影响。
     • 结合局部解释与全局解释，用于医疗场景的优化研究。
     • 探讨会话式解释与交互机制的应用。

总结

本研究为如何在医疗领域中通过透明的解释与强大的用户反馈机制提升模型性能提供了新的视角。作者提出了一套设计指南，并展示了 EXMOS 系统的有效性，为未来高风险领域的人工智能系统设计和用户研究提供了重要参考。