AutoDS: 面向人的数据科学自动化

文献标题

AutoDS: Towards Human-Centered Automation of Data Science

文献信息

• 主题领域: 自动化数据科学, 人机协作, 用户体验设计
• 关键词: 数据科学, 自动数据科学, 自动机器学习, AutoML, AutoDS, 人机协作, 可解释人工智能, 用户研究, 自动化模型构建, XAI

研究背景与问题

• 问题与挑战:

  • 数据科学生命周期中的任务繁重耗时，如数据探索、模型训练等，导致数据科学家无法专注于高价值的知识发现和决策活动。
  • 自动化技术（如AutoML）能否优化这些流程以支持数据科学任务，尚未明确其对工作实践和用户行为的实际影响。
  • 人们对自动化工具（如AutoDS）的信任和使用体验还有待更深入的理解。

• 重要性:

  • 自动化可以减少低级别任务的时间投入，提高效率，并帮助数据科学家专注于决策和知识发现。
  • 人机协作是未来数据科学实践的重要趋势，需要探索如何使自动化技术融入人类工作流程，并使这些技术具有可解释性和可信赖性。

• 研究动机与相关工作:

  • 先前研究表明，80%的数据科学时间花费在数据准备和模型选择上，这些任务可以通过自动化优化。
  • AutoML技术正在快速发展（如Google AutoML, H2O, DataRobot等），但其与实际工作流程的交互研究仍不足。
  • HCI领域已有研究关注人类与AutoDS系统协作的未来方向，但仍缺乏实验验证和用户行为数据。

解决方案

• 方法与解决方案:

  • 提出一个自动化数据科学系统原型AutoDS，能自动建议机器学习配置、预处理数据、选择算法并训练模型。
  • 提供两种用户界面：基于Web的图形界面和用于编程的笔记本（Notebook）界面。
  • 设计实验，比较使用AutoDS与传统Jupyter Notebook完成任务时的数据科学家行为和成果。

• 创新点:

  • 提供自动生成可读的Python代码，帮助用户理解并修改模型。
  • 提供实时可视化树形结构和模型排行榜，以支持用户监控模型训练和筛选结果。
  • 探索用户在自动化工具帮助下的工作模式转变及对工具的信任、接受度。

• 实施步骤与技术:

  • 系统接受用户上传的数据集，自动建议任务配置并生成多条模型管道。
  • 通过结合数据预处理、特征工程、算法选择和超参数优化的联合优化算法，生成高性能模型。
  • 用户可浏览生成的模型细节，下载和编辑对应的Python笔记本代码，或直接将模型部署为API端点。

研究成果

• 具体成果:

  • 在实验中，AutoDS显著提高了生产力（平均每用户生成8个模型）和模型质量（ROC AUC 0.919 对比传统方法的 0.899），同时减少了人为错误。
  • 尽管模型质量较高，用户对AutoDS生成的模型的信心低于手工制作的模型（2.4 对比 3.3, 5分量表）。

• 对比现有解决方案的优势:

  • 自动化支持整个数据科学生命周期，节省了大量时间。
  • 提供更容易理解和可修改的代码输出，增强系统透明度。
  • 鼓励用户专注于理解模型和数据，而非重复性代码工作。

• 实验或评估结果:

  • 实验验证了AutoDS带来的效率提升和质量改进。
  • 用户表现出对AutoDS功能的接受度，但对模型的信心仍需进一步设计优化。

• 局限性与未来方向:

  • 限于实验任务的数据集简单性，可能无法直接推广至复杂数据科学项目。
  • AutoDS的信任问题亟需解决，例如通过增强其解释性和透明性。
  • 未来研究可扩展到多样化的用户群体（如领域专家和最终用户）和复杂的多阶段数据科学项目应用。
  • 探索如何在数据科学工作流程中进一步优化人机协作。

以上是 PDF 文件内容的结构化整理与要点提炼。这篇文章提出了一个面向人类数据科学工作的自动化平台，并通过实验研究详细分析了它如何对用户行为、生产力和模型质量产生影响，同时识别了改进方向。