野外的AutoML：障碍、解决方法和期望

文献标题

AutoML in The Wild: Obstacles, Workarounds, and Expectations

文献信息

• 主题领域: 自动化机器学习 (AutoML)、人机交互科学 (HCI)、隐私保护与定制化技术
• 关键词: 自动化机器学习, 隐私, 透明性, 定制化, 用户自主性

研究背景与问题

• 发现的问题或挑战:

  1. AutoML存有透明性不足、定制化不充分及隐私风险等问题。
  2. 当前研究多关注技术层面，缺乏对用户实际应用动态及应对策略的探索。

• 重要性: AutoML旨在降低机器学习技术使用门槛，使数据科学和决策更加普及。然而在复杂的实际场景中，设计不足之处可能妨碍其推广和用户体验。

• 研究动机与相关工作:

  1. 当前围绕AutoML的研究主要集中在提高人类信任、优化工具透明性，以及流程中的设计改进等。
  2. 本文旨在从用户视角深入探讨实际应用中的需求及实践，针对如何在不完美的技术中克服缺陷提供解决方案。

解决方案

• 提出的方法或解决方案: 通过半结构化访谈研究，作者分析了用户在实践中针对AutoML的不足（透明性、定制化缺失以及隐私问题）提出的应对策略，并总结了用户采取的选择性和具体化使用方法。

• 创新之处:

  1. 提出“用户自主工作”的概念，强调用户如何主动创造应对策略以解决技术缺陷。
  2. 涉及AutoML领域鲜少讨论的隐私问题。
  3. 通过社会技术视角研究，深入分析用户的实际工作背景、需求和行为模式。

• 实施步骤与关键技术:

  1. 半结构化访谈，收集用户实际使用经验以及策略性使用AutoML的原因。
  2. 数据分析，通过主题分析明确用户的主要问题和应对方式。
  3. 提取设计导向，为未来AutoML平台优化提供建议。

研究成果

• 具体成果:

  1. 确定了AutoML的三大局限性：透明性不足、定制化缺失、隐私风险。
  2. 用户采用了各种策略，包括自定义输入数据、开发内部AutoML工具、手动检查模型结果以及选择信誉良好的平台等。
  3. 用户根据具体情境，选择性地使用AutoML以满足性能需求和任务需求。

• 与现有解决方案的优势:

  1. 将当前视角从技术/功能补充转向“用户如何在复杂场景中调整使用”。
  2. 非仅技术驱动，而是结合实际工作中社会化和互动的设计方法。

• 实验或评估结果: 研究采访了来自不同领域、不同经验水平的19位参与者，有效揭示了AutoML的实际使用中的不同视角及挑战。

• 局限性与未来方向:

  1. 参与者取样限制：访谈对象主要通过企业邮件列表、社交媒体等渠道招募，未来应扩大采样多样性。
  2. 需要探索更多新兴挑战：如公平性和偏倚问题，以及AutoML在非英语语言或不同文化中的适应性。
  3. 候选解决方案需转化为更加可量化的研究，从而支持更具普适性及具体的设计改进。

设计性启示

1. 支持领域定制:

   • 开发更具领域针对性和可编辑性的AutoML平台。
   • 引入先验知识指导更复杂场景下的模型生成。

2. 多维度透明性:

   • 提供动态过程和结果的透明性工具。
   • 设计适合非专业用户的解释性视觉化功能。

3. 隐私风风险防范:

   • 集成隐私保护通知与隐私增强技术。
   • 鼓励用户在数据上传之前进行最小化与匿名化。

4. 支持跨团队协作:

   • 结合组织不同团队角色（数据科学家、法律团队、领域专家）优化AutoML平台适配性。
   • 引入设计理念以支持“Humans-in-the-Loops”（多人协同参与环路）。

致谢与研究支持

本研究受到国家科学基金（NSF）资助，相关项目编号为 2212323, 1951729, 和 1953893。