使多模态大语言模型成为可靠的图表数据提取器：基准测试与训练框架

文献标题

Making Multimodal LLMs Reliable Chart Data Extractors: A Benchmark and Training Framework

出版信息

• 主题领域: 使用多模态大语言模型（MLLMs）进行图表数据提取。
• 关键词: 图表数据提取、多模态大语言模型、ExChart、ExChart-Bench、坐标系统感知、图表到表格对齐、数值准确性、混合式交互工作流、可视化、人机交互。

背景与问题

• 问题与挑战: 当前的图表数据提取方法，包括全自动、交互式和混合式系统，在效率、通用性和数值准确性方面存在困难，尤其是对于没有可见数据标签的图表。虽然多模态大语言模型（MLLMs）具有潜力，但在精确值恢复方面仍不可靠。
• 重要性: 可靠的图表数据提取对于研究、金融和政策等领域的可重复性、分析和可访问性至关重要。不准确的提取可能导致错误的分析和决策。
• 动机与相关工作: 现有系统如 ChartOCR 和 WebPlotDigitizer 要么脆弱，要么繁琐。混合式交互系统提高了效率，但缺乏通用性。MLLMs 提供了统一的界面，但在没有标签的情况下无法准确推断值。本文通过改进 MLLM 的图表数据提取性能来解决这些问题。

解决方案

• 提出的方法: 作者提出了 ExChart，一个受人类图表阅读过程启发的两阶段训练框架，以及 ExChart-Bench，一个用于评估图表数据提取性能的基准。
• 创新点:
  1. 开发 ExChart-Bench，一个包含真实世界和合成图表（无数据标签）的基准。
  2. 引入两阶段训练框架（坐标系统感知增强和图表-表格对齐），以提升 MLLM 的性能。
  3. 使用轻量级 7B 参数模型展示了最先进的性能。
  4. 通过用户研究验证了框架在混合式交互工作流中的有效性。
• 流程与关键技术:
  1. 坐标系统感知增强（CSPE）: 训练模型理解坐标几何和视觉编码。
  2. 图表-表格对齐（CTA）: 微调模型以生成具有高数值准确性的结构化数据表。
  3. 构建 ExChart-Bench: 包括 3,600 个图表-表格-提示对，涵盖多种图表类型和风格，以自适应 MAPE 作为主要评估指标。
  4. 用户研究评估 MLLM 在交互式工作流中的整合效果。

结果

• 具体发现:
  • ExChart 实现了 4.87% 的自适应 MAPE，显著优于基础模型（16.01%）和更大的模型如 GLM-4.5V（5.94%）。
  • 格式成功率从 89.58% 提升至 99.11%。
  • 在处理极坐标图表方面取得显著改进（例如雷达图：自适应 MAPE 从 25.47% 降至 3.21%）。
• 相较基线的优势:
  • ExChart 在数值准确性和结构化输出生成方面优于最先进的模型如 GLM-4.5V 和 Gemini 2.5 Flash。
  • 与图表专用模型（如 ChartInstruct、UniChart）相比，在 RNSS 和 RMS 指标上表现更优。
• 实验与评估:
  • 使用 ExChart-Bench 对 11 个 MLLM 进行了基准测试，涵盖 3,600 个图表。
  • 通过消融研究验证了 CSPE 和 CTA 阶段的贡献。
  • 用户研究中，12 名参与者表明 MLLM 辅助工作流能够实现高效且可靠的图表数据提取，平均 SUS 得分为 94.79。
• 局限性与未来工作:
  • 当前模型，即使使用 ExChart，仍不足以实现完全自动化提取。
  • 未来工作包括扩展图表多样性、探索表格形状影响以及引入不确定性估计以增强可解释性。

总结

本文通过引入 ExChart（一种受人类启发的两阶段训练框架）和 ExChart-Bench（一个系统评估基准），解决了 MLLM 在图表数据提取中的局限性。所提出的方法显著提高了数值准确性和结构化输出生成能力，并使用轻量级 7B 参数模型实现了最先进的性能。用户研究证实了将 MLLM 整合到混合式交互工作流中的有效性，从而实现高效且可靠的图表数据提取。这些发现突显了结合定制化训练策略与人机协作在实际应用中的潜力。