促进领域专家向数据科学家共享知识以构建NLP模型

文献标题

Facilitating Knowledge Sharing from Domain Experts to Data Scientists for Building NLP Models

文献信息

• 主题领域: 人机交互、机器学习、多学科协作
• 关键词: 人类参与的机器学习、CSCW（计算机支持的协同工作）、自然语言处理、领域知识共享、多学科协作、标签推理、知识提取、交互系统、冷启动、可扩展性
• 发表会议: 26th International Conference on Intelligent User Interfaces (IUI '21)
• 主要作者及机构:
  • Soya Park (MIT)
  • April Wang (University of Michigan)
  • Ban Kawas, Q. Vera Liao, David Piorkowski, Marina Danilevsky (IBM Research)

研究背景与问题

• 挑战与问题:

  1. 数据科学家需要掌握专业领域知识以进行机器学习模型开发，但该学习过程通常耗费时间且效率低。
  2. 领域专家的知识获取依赖于与数据科学家的不定期、复杂的交互，且缺乏标准化工具来促进合作。
  3. 当前的机械学习开发常需要大量标注数据，在标签稀少或不存在的情况下，开发和调试机器学习模型尤为困难。

• 研究动机与重要性:

  • 随着机器学习在应用中的广泛应用（如卫生健康、金融等领域），需要解决领域知识传递效率低和标签稀缺问题，以加速模型开发。
  • 更高效的领域知识提取方式，能够提供模型开发的透明性、可扩展性，同时减轻领域专家的负担。

• 相关工作:

  • 数据科学工作流中的技术与人际交互问题，如：协作数据科学工具的局限性、领域专家在模型开发中的参与模式。
  • 当前的领域知识获取方法集中于文档标注工具或通过直观交互工具收集数据，但仍存在信息不易迁移、对数据科学家需求的支持不足等问题。

解决方案

• 核心贡献:

  • 提出了领域知识传递框架 "Ziva"（用于自然语言处理任务）。
  • 设计并开发了用户界面，用于帮助领域专家通过领域概念提取和标签推理方法来有效传递知识。

• 创新点:

  1. 引入了一套多样的推理方式，供领域专家通过代表性数据实例分享知识（支持5种形式：关键词选取、实例简化、实例扰动、概念关键词标注、概念注解）。
  2. 提供了知识的异步交互和复用能力。
  3. 支持冷启动场景下的模型开发需求。

• 实施步骤与技术:

  1. 从未标注的数据中提取文本实例的代表性子集（利用 tf-idf 和 k-means 聚类）。
  2. 为领域专家设计交互界面，以完成以下任务：
     • 概念提取: 通过拖拽物标界面将实例卡片分组，以提取领域的主题和描述。
     • 标签推理: 使用五种具体方式进行标签解释，帮助数据科学家理解领域实例。
  3. 数据使用：数据科学家将Ziva提取的领域知识用作特征工程、快速标签生成和模型调试的基础。

研究成果

• 实验设计:

  • 实验1: 小型实验室用户研究（12名参与者），比较领域专家在不同标签推理方法下的任务完成时间、认知负担和任务体验。
  • 实验2: 扩展至大规模众包实验（88名参与者），基于字段调查报告了每种方法的易用性、心理压力及主观工作体验。
  • 实验3: 针对数据科学家的访谈研究（7名经验丰富的数据科学家），考察Ziva输出在机器学习工作流中的实际价值。

• 主要发现:

  1. 领域知识传递:
     • Ziva支持领域专家以相对低的心理负担完成知识提取任务，特别是在“实例简化”和“概念注解”的任务条件下表现较好。
  2. 对数据科学家的效用:
     • 数据科学家指出，输出结果可用于标签推广、特征工程、增强解释能力以及设计小样本学习模型。
     • “概念注解”最受欢迎，因为其结构化信息可直接用于多任务建模。
  3. 实验性能:
     • 基于领域专家标注的测试结果显示，与现有的“关键词（Bag of Words）”方法相比，概念注解生成的特征在机器学习模型上表现更强的一致性。
  4. 反馈:
     • 数据科学家认同Ziva对领域知识协作无缝衔接的贡献，并建议未来扩展至不同领域和多模型架构。

• 局限性与未来方向:

  • 当前仅在情感分析任务和餐馆评论数据上验证。未来工作应扩展到其他任务背景和领域（如健康、教育、机器翻译）。
  • 深入研究领域专家的稀疏知识，如领域背景信息与数据稀疏性等。
  • 探索更多支持高效协作和知识复用的工具关键设计。

总结

本文为数据科学家与领域专家构建基于NLP模型的协同提供了标准化工具 (Ziva)，通过设计评估展示了新颖的互动方式和开放框架如何显著提高知识共享效率，同时减轻了多学科协作中的常见挑战。