描述与文本信息提取工作流程相关的实践、限制和机会：人类在循环中的视角

文献标题

Characterizing Practices, Limitations, and Opportunities Related to Text Information Extraction Workflows: A Human-in-the-loop Perspective

文献信息

• 主题领域: 自然语言处理与人机交互领域中的人机协同文本信息抽取流程
• 关键词: 信息抽取, 数据科学工作流, 人机协同, 认知工程, 数据标注, 可扩展性, 自动化, 文本分析, 设计建议, 可解释性

研究背景与问题

• 现有问题或挑战:
  • 信息抽取（IE）工作流通常高度依赖人工干预。
  • 当前IE工具并未充分支持细粒度用户操作和迭代工作流，这导致工具无法有效帮助从事数据科学任务的用户。
  • 数据和模型的迭代处理及其溯源管理的支持不足，影响了任务准确性和效率。
• 研究重要性:
  • IE常作为文本分析流程的第一步，对后续任务（如知识库创建、实体匹配、文本摘要等）具有直接影响力。
  • 缺乏对数据科学工作流在信息抽取语境下的细粒度理解，限制了用户效率并增加了复杂性。
• 研究动机与相关工作:
  • 作者注意到目前学界在探索数据科学工作实践上有所进展，但通常侧重于粗粒度视角，缺乏对细节操作和任务互相联动的研究。
  • 本研究的目标是从细粒度和迭代性视角全面刻画IE工作流任务模型，并为工具设计提供具体的支持建议。

解决方案

• 提出的方法或解决方案:
  • 构建了一个由五个主要任务（查看、评估、假设、执行和验证）组成的细粒度任务模型，该模型覆盖信息抽取工作流的所有阶段（数据准备、模型构建、模型评估和部署）。
  • 通过半结构化访谈研究，揭示用户任务的难点及现有工具的不足，进而制定设计IE工具的八项考虑。
• 创新之处:
  • 提出了一个平衡“细粒度任务分析”和“粗粒度阶段建模”的迭代任务模型，填补了对信息抽取流程中用户行为的理解空白。
  • 结合认知工程原则，从用户与工具交互的认知负担角度出发，为未来IE工具功能设计提供方向性建议。
• 实施步骤及技术:
  1. 进行回顾性访谈研究，覆盖10个工业实体的IE项目。
  2. 使用扎根理论分析访谈结果，抽取用户任务模式。
  3. 总结常见挑战点并提出基于认知工程原则的设计建议。
  4. 将任务循环与信息觅食和意义建构模型相结合，生成感知层次清晰的用户行为模型。

研究成果

• 具体成果:
  1. 通过质性分析，提出了一个通用的IE工作流任务模型。
  2. 总结出用户在不同阶段的17种具体操作行为，例如数据采样、模式比较、假设定义等。
  3. 提出8项设计建议（如高级搜索、交互式反馈、概览生成、元数据管理等），强调需综合考量减轻用户负担与提高协作能力。
• 与现有解决方案比较的优势:
  • 相较于传统以阶段为中心的研究，本文系统性地捕捉了任务之间联动的动态性。
  • 提出的任务模型和设计建议更适应工业环境中复杂的迭代IE使用需求。
• 实验或评估结果:
  • 通过对10个实际工业项目的回顾研究，模型的适用性得到了初步验证。
  • 用户在访谈中表达了对提出主要设计改善的高度认可，例如对溯源管理和交互反馈功能的需求。
• 局限性与未来方向:
  • 局限性: 研究集中在单一公司及工业环境，样本具有局限性；未深入探讨多用户协作及其冲突问题。
  • 未来方向: 探索模型在其他领域或任务中的适应性；挖掘如何更好地支持协作、归因信任及可解释性。