超越专业知识和角色：一个框架来描述可解释机器学习的利益相关者及其需求

文献标题

超越专业与角色：一种用于描述可解释机器学习利益相关者及其需求的框架

文献信息

• 主题领域: 可解释机器学习 (Interpretable Machine Learning)
• 关键词: 可解释性、解释能力、机器学习、知识、需求、目标、框架

研究背景与问题

• 发现问题或挑战:

  • 当前机器学习系统通常被描述为“黑箱”，难以让用户理解其逻辑并产生信任。
  • 现有研究在描述利益相关者时主要基于专业知识和角色，而未能充分反映参与者需求的多样性和具体性。
  • 可解释性方法常无法明确其目标用户，造成设计中难以满足多样化需求。

• 重要性:

  • 机器学习模型的应用范围日益扩大，它们对社会和个人决策产生深远影响，确保其输出的可解释性是建立信任、实现公平决策和减少不当影响的重要手段。

• 研究动机与相关工作:

  • 过去的研究尝试通过将用户分类为“专家”“非专家”或通过功能角色划分来定义他们的需求，但这些方法在描述与生成能力上有限。
  • 需要开发更细致的分类框架，以更好地理解利益相关者的知识背景和需求，并改进用户研究和方法设计。

解决方案

• 提出的方法或解决方案:

  • 研究者开发了一个描述可解释机器学习利益相关者及需求的框架，其中包含两个主要部分：
    1. 将利益相关者的知识拆解为三个类型：正式知识（理论知识）、工具知识（实践技能）以及个人知识（经验与价值观）。
    2. 定义利益相关者的需求为一个三层的分类：长期目标（理解模型、建立信任）、中期目标（比如调试模型或确保合规性）以及具体任务（评估预测可靠性、检测错误等）。

• 创新之处:

  • 不仅仅基于角色或专业知识分类，而是引入知识的类型及其应用场景（机器学习、数据领域、泛社会环境）。
  • 消除对利益相关者需求的单一化描述，揭示需求可以跨不同角色与专业知识。

• 实施步骤与关键技术:

  • 文献综述与开放编码：分析不同领域（机器学习、教育理论、社会科学等）的文献以提取利益相关者需求描述。
  • 使用循环迭代的分析与架构优化方法开发框架。
  • 利用58篇相关论文验证框架的描述能力，并探讨其评估与生成能力。

研究成果

• 具体成果:

  • 提出的框架能够涵盖机器学习可解释性领域的主要利益相关者及需求，并能揭示现有研究中的不足，比如对非技术用户需求的低关注。
  • 表明该框架可以帮助设计更加准确的用户测试，并阐明不同任务之间的关联。
  • 通过框架生成新的用户角色与需求组合，并提供如何改进可解释性接口的设计指导。

• 优势:

  • 与现有基于角色或专业知识的分类方法相比，此框架更具描述性与生成力，能够揭示新的利益相关者需求及研究方向。
  • 为利益相关者提供了一个更细致的语汇，支持设计更符合应用场景的模型解释接口。

• 实验或评估结果:

  • 对58篇论文进行编码，发现框架能够全面描述不同知识背景与需求。
  • 生成了新的用户角色与需求组合，例如具有个人知识的非典型技术用户如何对模型调试产生影响。

• 局限性与未来方向:

  • 框架尚未涵盖所有需求，例如影响力较小的“说服与采纳”需求。
  • 未来可进一步细化个人知识和社会背景的分类，反映更广泛的需求。
  • 用户需求与利益相关者知识的文字化可能尚不足，需要采用更系统的方式捕捉利益相关者的隐藏需求。

这个框架不仅为可解释性研究提供了一个更为详尽和实用的工具，还能帮助设计更加符合实际需求的机器学习解释方法，同时开启了从社会和用户角度反思设计过程的新方向。