通过数据工作的工件追踪和可视化人与ML/AI的协作过程

文献标题

Tracing and Visualizing Human-ML/AI Collaborative Processes through Artifacts of Data Work

文献信息

• 主题领域: 人机协同工作，特别是在数据科学工作流中自动化机器学习 (AutoML) 技术与人类协作的可追溯性与可视化。
• 关键词: AutoML, 人机协作, 数据可视化, 工件分类, 端到端数据科学。

研究背景与问题

• 发现的问题或挑战:

  1. 当前的 AutoML 系统主要关注模型选择和数据准备的自动化，但实际操作中仍需大量的人工协调和人机协作。
  2. 自动化过程的"黑箱化"常导致团队间的协作摩擦，难以界定“何人何时做了什么”。
  3. 现有 AutoML 工具较少关注人类元素，只有有限的功能能够追踪和审查人类参与的数据科学工作流。

• 研究重要性: 在数据工作中捕获并追踪人工和机器智能的协作变得越来越重要。通过提高透明度和可解释性，能够帮助技术和非技术用户更有效地理解数据流和决策过程。

• 研究动机与相关工作:

  1. 受流行的视觉分析方法和 AutoML 文献的启发，作者试图创建一个工具来弥补自动化与人工操作间的鸿沟。
  2. 作者参考了先前关于人类-机器协作、可追溯性、以及视觉辅助分析的研究，设计了一个通用的工件分类来描述数据操作中的各种工件（人工输入或机器生成的）。

解决方案

• 方法与解决方案:

  1. 开发 AutoML 工件分类法: 创造一个分类体系，用于归纳和描述 AutoML 和人类协作过程中的工件。工件不仅包括输入与输出，还包含自动化过程中的元数据和文档。
  2. 开发 AutoML Trace 可视化交互原型: 这是一个交互式可视化工具，展示在数据工作流中人机协作所生成的工件及其动态演变。
  3. 提出数据工作可追溯性的定义: 包括工件的来源（provenance），透明度，和上下文三个核心方面。

• 创新之处:

  • 将工件分类法扩展至更广泛的端到端数据工作流程的语境，涵盖了准备、分析、部署和沟通各个阶段。
  • 提供了一个可适配于多种系统的分类法，支持捕获、追踪和可视化自动化数据科学过程中的工件。

• 实施步骤及关键技术:

  1. 工件分类法开发:
     • 通过迭代的方式，使用文献综述和理论建构结合，从400个数据工件中提炼出最终的52个。
     • 分类法包括4个维度：来源、传递模式、格式和任务。
  2. AutoML Trace 的开发:
     • 在一个企业团队的实际 AutoML 系统中，调用 API 捕获工件，记录时间戳和依赖关系，以完成工件的追踪和版本比较。
     • 提供三种可视化视图（来源视图、依赖视图和版本历史视图）来探索工件的来源、依赖关系及演变。

研究成果

• 具体成果:

  1. 提出了一个适用于捕获人机协作工件的AutoML 工件分类法，涵盖了52种分组工件，并进一步分解到数据准备、分析、部署和沟通四大阶段。
  2. 开发了 AutoML Trace 可视化原型，展示了数据工作中的人机协作及 AutoML 系统对人工干预的反馈。
  3. 通过与企业团队的协作场景，验证了工具的设计有效性，帮助团队更好地理解其 AutoML 系统的功能和改进方向。

• 与现有解决方案的比较优势:

  1. 考虑了 AutoML 系统中人为因素和社会技术关系，对现有工具忽略人类元素的问题进行了补充。
  2. 分类法和工具的通用性使其可以扩展到不同的 AutoML 系统，支持更多任务。

• 实验或评估结果:

  • 在与企业团队的合作中，该工具和分类法为他们提供了新的视角，帮助他们分析系统中的人机交互及改进需求。例如，他们能够清晰看到哪些人工干预被系统接受或忽略。

• 局限性与未来方向:

  • 局限性:
    1. 分类法开发和工具验证仅基于少数企业团队的上下文，通用性有待验证。
    2. 系统当前缺乏对多用户合作和复杂协作的优化支持。
  • 未来方向:
    1. 扩展到多团队、跨系统的验证，进一步完善和细化分类法。
    2. 开发更复杂的交互式设计以支持人-人及人-机器的异步协作分析。
    3. 将可视化科研重点延伸至不同类型的 AutoML 系统和新兴 ML/AI 技术。

通过提出一个全新的分类方法并将其实施为可视化工具，作者为 AutoML 和人类协作的研究提供了重要的理论框架和实践工具，可进一步在学术界和工业界发扬光大。