SemTabla：一种用于数据表格语义丰富化和验证的人机交互框架

文献标题

SemTabla: A Human-in-the-Loop Framework for Semantic Enrichment and Validation of Data Tables

出版信息

• 主题领域: 表格数据的语义增强与验证，以提升推理能力和可用性。
• 关键词: 语义增强，人机交互，数据表，表格问答（Table QA），大语言模型，函数依赖，主键，外键，交互式系统。

背景与问题

• 问题/挑战: 表格模式中的元数据通常无法充分捕捉表格数据的完整业务语义，导致表格问答系统中的推理错误。现有的自动化方法在数据利用不足、特征覆盖范围狭窄以及可解释性有限方面存在困难。
• 重要性: 准确理解表格的语义对于提升表格问答系统的推理能力以及在金融、医疗、电商等领域的有效决策至关重要。
• 动机与相关工作: 以往关于表格语义理解的研究在列类型识别、实体链接和关系提取等技术上取得了进展，但在跨表语义关联的支持、对非结构化表格的适应性以及端到端集成解决方案方面存在不足。本文旨在解决这些问题。

解决方案

• 提出的方法: SemTabla，一个采用人机交互机制的交互式系统，用于从数据表中提取、验证和优化语义信息。
• 创新点:
  1. 一个分层框架，用于在多个层次（字段、表格和跨表）提取语义属性。
  2. 一种新颖的采样方法，用于识别关键但罕见的行实例。
  3. 一个交互式界面，用于语义可视化、验证和优化。
  4. 对系统可用性及其对表格问答性能影响的评估。
• 流程与关键技术:
  • 语义增强: 包括字段级属性、表格关系、列依赖性和表格级语义标签在内的四步语义特征提取过程。
  • 采样策略: 通过迭代采样和反例验证，确保全面且高效的检测。
  • 语义验证: 使用正负示例支持的交互式模块来验证提取的特征，并辅以SQL查询。
  • 交互式界面: 提供模块化视图，用于上传数据集、可视化语义特征以及优化结果。

结果

• 具体发现:
  • 通过语义增强，表格问答的执行准确率从36.25%提升至45.18%（Qwen3-Plus），从43.81%提升至51.83%（DeepSeek-V3）。
  • 语义增强显著提升了多表（+11.76%）、时间相关（+7.86%）和聚合（+8.76%）查询的性能。
  • 在主键识别和函数依赖发现等检测任务中，即使是处理多达1.6M行的大型数据集，延迟仍保持在毫秒至秒级。
• 相较基线的优势:
  • 在可用性、学习成本、心理负担、结果准确性和效率方面优于基线系统。
  • 提供交互式验证和基于证据的反馈，而基线系统缺乏验证机制。
• 实验/评估:
  • 在Bird基准数据集上，与两个基线系统进行用户研究比较。
  • 消融研究评估语义增强对表格问答性能的影响。
  • 在大规模数据集上评估检测任务的性能。
• 局限性与未来工作:
  • 可扩展性: 当前实现仅限于本地数据集，未来工作可集成分布式数据库以支持大规模场景。
  • 用户场景: 对于文档完善的数据集或非技术用户的适用性较低。
  • SQL分析: 未来可通过整合SQL脚本实现更深层次的语义理解。

总结

SemTabla是一个旨在解决现有表格语义增强方法局限性的交互式系统。它结合自动语义提取与人机交互验证，利用分层框架、新颖的采样策略和直观的界面。实验表明，该系统通过语义信息增强提示，显著提升了表格问答的性能。用户研究强调了其可用性和效率，但未来工作需要进一步提升其可扩展性并支持多样化的用户场景。