DataSpeck：一种人工智能驱动的端到端人机协作系统，用于实现数据转换工作流的自动化

文献标题

DataSpeck: An AI-Driven Human-in-the-Loop System for Automating Transformations in Data Conversion Workflows

出版信息

• 主题领域: 使用人工智能和人机协作系统自动化数据转换和集成工作流。
• 关键词: 数据转换, 模式匹配, 人机协作, LLMs, 数据集成, 自动化, 语义关系, ETL管道, 数据转换, AI驱动系统。

背景与问题

• 问题与挑战: 将不同的数据源集成到现有系统中通常需要手动数据转换以匹配所需结构。现有的模式匹配和转换工具在处理语义关系和复杂转换时大多依赖用户，导致过程耗时且认知负担较重。
• 重要性: 数据转换自动化可以显著减少数据集成所需的人工努力、认知负担和时间，这在医疗、电子商务和分析等领域尤为关键。
• 动机与相关工作: 之前的系统如基于示例编程、基于演示编程和自然语言界面简化了转换任务，但仍需要用户理解数据结构并设计转换。LLMs在数据相关任务中表现出潜力，但缺乏对目标驱动工作流的端到端支持。本文旨在通过自动化整个数据转换流程并仅在必要时引入用户来填补这一空白。

解决方案

• 提出的方法: DataSpeck是一种AI驱动的人机协作系统，通过利用LLMs推断语义关系并生成转换管道，自动化将不同数据源转换为符合现有规范的过程。
• 创新点:
  1. 基于AI的语义分析和管道生成实现数据转换工作流的端到端自动化。
  2. 通过针对性澄清请求的人机协作机制解决歧义。
  3. 基于信心的干预系统，仅在必要时引入用户。
• 流程与关键技术:
  • 分析数据集描述符以提取结构和语义信息。
  • 使用LLMs推断源数据集与目标数据集之间的语义关系。
  • 生成并执行作为逐步Python函数的转换管道。
  • 通过信心评估将输出分类为“高信心”、“假设性”或“不充分”，在需要时提示用户输入。

结果

• 具体发现:
  • 在独立任务中自动化了约86%的转换，在实际任务中自动化了约90%的转换。
  • 在独立任务中信心分类准确率达到约93%，在实际任务中达到约86%。
  • 用户研究（N=12）显示，与使用Microsoft Excel和Copilot相比，参与者使用DataSpeck完成任务的速度提高了约53%。
  • 参与者报告使用DataSpeck的认知负担和挫败感显著降低（NASA-TLX）。
• 相较基线的优势:
  • DataSpeck通过自动化策略推断并减少用户输入次数，优于Excel和Copilot。
  • 基础任务完成时间减少了44%，高级任务减少了63%。
• 实验与评估:
  • 技术评估: 在43个独立任务和5个实际场景中测试了系统自动化和信心机制。
  • 用户研究: 比较了DataSpeck与Excel + Copilot在两个数据转换任务中的表现，测量任务效率、工作负荷和可用性。
• 局限性与未来工作:
  • 在过滤和拆分等操作中表现较弱，原因是缺乏可观察的数据特征。
  • 某些情况下由于LLM上下文丢失或幻觉导致静默失败。
  • 未来方向包括整合领域特定知识、协作工作流以及增强验证机制。

总结

DataSpeck是一种AI驱动的人机协作系统，通过利用LLMs推断语义关系并生成可执行管道，自动化数据转换工作流。在自动化约86–90%的转换任务的同时，仅在歧义情况下选择性地引入用户，显著减少了任务完成时间和认知负担，相较于传统工具如Excel和Copilot表现更优。系统的基于信心的干预机制增强了可靠性和用户信任。未来工作将致力于解决复杂转换处理中的局限性、改进验证机制以及扩展领域特定应用。