数据为中心的解释：解释机器学习系统的训练数据以促进透明度

文献标题

Data-Centric Explanations: Explaining Training Data of Machine Learning Systems to Promote Transparency

文献信息

• 主题领域: 人机交互 (HCI)、机器学习透明性与可解释性
• 关键词: 机器学习系统, 数据集解释, 透明性, 信任, 公平性, 用户体验

研究背景与问题

• 问题或挑战:
  1. 机器学习系统的训练数据不透明可能导致用户对系统输出结果的误解和对系统的信任缺失。
  2. 训练数据中的偏差通常可能导致系统决策中的不公平性，但目前很少有系统向终端用户解释数据相关信息。
• 重要性: 机器学习系统的性能严重依赖训练数据的质量和特性。未能正确传达这些信息可能对系统的透明性、公平性和用户信任产生负面影响，特别是对于高风险决策系统而言。
• 研究动机:
  • 探索如何向终端用户有效传达训练数据相关信息。
  • 分析这些信息对用户对系统公平性与信任的感知产生的影响。
  • 弥补现有解释系统以结果导向为主的局限性，扩展到数据层面的解释。

解决方案

• 提出的方法:
  1. 提出“数据中心式解释”（Data-Centric Explanations）的概念，向终端用户解释机器学习系统训练数据的细节。
  2. 使用现有的训练数据文档化方法（如Gebru等人的“Datasheets for Datasets”）为基础，开发原型解释界面，并通过用户中心设计优化其适用性。
• 创新之处:
  1. 将传统关注于系统决策过程的解释扩展到训练数据的维度。
  2. 对用户体验进行了深入研究，探索不同背景用户对数据相关解释的感知差异。
  3. 提出如何在不同应用情境（高风险与低风险系统）中有效使用数据中心式解释。
• 实施步骤与关键技术:
  1. 从文献中识别适合终端用户理解的训练数据类别（包括数据收集方式、人口统计信息、推荐用途、潜在问题等）。
  2. 设计以Q&A形式呈现信息的用户界面，其表现形式经过初步试验与反馈优化。
  3. 通过两次用户研究分析数据中心式解释的接受度和效果。

研究成果

• 具体成果:
  • 开发了一个原型系统展示五类训练数据信息，通过Q&A格式组织信息，包括“数据收集”、“人口统计”、“推荐用途”、“潜在问题”和“一般信息”。
  • 测试表明数据中心式解释有助于提升用户对系统的透明性感知和系统公平性与信任的评价。
  • 用户研究强调人口统计数据（如性别、种族分布）在用户识别数据偏差方面具有重要作用。
• 相较现有解决方案的优势:
  1. 数据中心式解释是模型无关且全局性的，适用于多个不同的机器学习模型。
  2. 不同于传统的解释方式，它向用户揭示了训练数据的透明性，能更直观地定位可能的偏差。
• 实验或评估结果:
  1. 问卷量化数据结果:
     • 当解释揭示训练数据均衡时，用户对系统的信任度、公平性和舒适度评分显著提高。
     • 不同的受访者背景（专家、中级、初学者）对解释的感知和信任无显著差异。
  2. 访谈定性数据结果: 27名受访者一致认为数据中心式解释改变了他们对系统信任和公平性的评价，特别是在高风险场景（如面试决策系统、司法保释系统）中。
• 局限性与未来方向:
  1. 局限性:
     • 研究为假设场景设计，可能缺少实际系统的生态效度。
     • 缺乏用户的行为数据分析，大多数发现基于主观反馈。
  2. 潜在改进方向:
     • 实现与实际系统的集成从而获得生态有效数据。
     • 与传统解释方法联合，综合展示数据与决策过程，以提供更全面的透明性。
     • 针对多种用户群体（如决策方、媒体）设计更具针对性的解释形式。

总结

本文研究表明，数据中心式解释能显著提升用户对机器学习系统的信任与公平性感知，特别是在高风险决策场景中，为推动AI透明性和促进社会信任提供了重要方向。