时断时续：企业对AutoML的使用以及环中人类的作用

文献标题

Fits and Starts: Enterprise Use of AutoML and the Role of Humans in the Loop

文献信息

• 主题领域: 人机交互（HCI）、自动化机器学习（AutoML）、数据科学
• 关键词: 数据科学, 自动化, 机器学习, 人机交互, 数据可视化, 人工智能, AutoML, 数据分析, 协作, 生产环境

研究背景与问题

• 问题与挑战:

  1. 企业在采用自动化机器学习（AutoML）技术时仍面临许多挑战，尤其是在数据准备、模型监控、部署和沟通环节上。
  2. AutoML 当前尚未实现端到端的数据科学流程自动化，仍需要大量人工介入。
  3. 企业内部不同技术背景的人员如何正确使用 AutoML 技术是一个关键问题。
  4. 数据可视化在 AutoML 系统中如何有效辅助人机协作仍未充分被研究。

• 重要性: AutoML 能够加快机器学习的应用、降低技术门槛，使非技术人员也能使用复杂的数据科学工具，从而在企业中推动数据驱动的决策。但错误使用可能导致严重后果。理解这些问题对设计有效的 AutoML 和可视化工具具有深远影响。

• 研究动机: 作者希望探索真实企业环境中 AutoML 的使用情况，包括如何通过数据可视化将人机协作整合到数据科学流程中，并解决当前的局限。

解决方案

• 方法与解决方案:

  1. 研究方法: 通过对不同规模企业的29名受访者（数据科学家、业务分析师、团队管理者）的访谈，分析 AutoML 在企业中的实际使用情况及问题。
  2. 提出一个框架，用于总结不同技术熟练度用户所需的自动化水平。
  3. 分类出三种主要使用场景：例行任务的自动化、快速原型迭代以及民主化数据科学。

• 创新点:

  1. 提出针对不同技术水平用户的自动化需求框架。
  2. 展现数据可视化在促进人机协作中的潜力和缺陷。
  3. 识别了重要的设计方向，例如提高工具整合度和数据准备自动化。

• 实施步骤和技术:

  1. 收集用户对 AutoML 使用情况的反馈，识别主要问题。
  2. 基于数据科学的现有流程构建分析框架，包括数据准备、分析、部署和沟通。
  3. 建立一个用于指导设计人机协同工具的层级自动化模型。

研究成果

• 具体成果:

  1. 提供了一个框架，概述了不同技术水平用户在数据科学流程中理想的自动化程度。
  2. 发现了 AutoML的主要使用场景：
     • A. 加速例行任务
     • B. 快速原型探索
     • C. 民主化（让非技术人员也可参与数据工作）
  3. 证明了数据准备工作依然是企业应用 AutoML 的主要瓶颈。
  4. 强调了冷静对待“人机协作”模式的重要性，提出在某些环节应限制人为干预。
  5. 指出数据可视化在监控和沟通环节中的不足，以及其潜在提升方向。

• 与现有解决方案的比较: 相比传统仅关注机器学习模型选择和超参数调优的 AutoML，该研究表明集成数据准备、部署和沟通工具的综合方案才能解决企业现有痛点。

• 实验或评估结果:

  1. 数据准备占据用户大量时间，现有工具（如 Alteryx）尽管能部分解决问题，但仍需改进。
  2. AutoML 被更多的大型企业探索使用，但其推广面临技术知识鸿沟加剧的风险。
  3. 可视化工具未能很好地集成到企业现有的数据工具环境中。

• 局限性与未来方向:

  1. 受访者主要是数据科学技术专家，研究需进一步考察“市民数据科学家”（非技术背景人员）的需求。
  2. 需要开发更多无代码或低代码的 AutoML 技术，同时使工具生态更加紧密集成。
  3. 调研数量有限，应扩展到更多行业和数据工作类型。
  4. 未来应探索新的可视化工具，以支持 AutoML 系统的“人机协作”模式，并增强协作和信任。