由大型语言模型驱动的可视化自然语言数据集生成框架

文献标题

Natural Language Dataset Generation Framework for Visualizations Powered by Large Language Models

文献信息

• 主题领域: 数据可视化与自然语言接口 (NLIs)，结合大语言模型 (LLMs) 的应用
• 关键词: Vega-Lite, 自然语言数据集, 大语言模型, 框架, 自然语言接口, 数据可视化

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 高质量成对数据集 (图表与自然语言描述) 的稀缺性阻碍了自然语言接口的开发。
  • 现有的图表数据集通常是合成的，类型多样性和内容复杂性不足，或者规模较小。
  • 数据集的制作过程通常依赖众包，这种方式成本较高、耗时，并且难以捕捉语言的多样性。

• 为什么这个问题很重要？

  • NLIs可以显著简化数据可视化工具的使用，提高人机交互的直观性。但有效的NLIs依赖高质量的数据集，缺乏这类数据集会限制技术的发展。

• 研究动机与相关工作

  • 过去的研究已经通过合成数据集和众包方法构建了部分图表-NL对，但多数方法难以扩展且不能覆盖复杂图表需求。
  • 图表问题回答、图表生成等具体任务也导致了数据集的进一步分化，各自对数据集的需求不同。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了VL2NL框架，该框架基于Vega-Lite规范，利用大语言模型生成丰富且多样的自然语言数据集。
  • 新数据集包含1,981个由GitHub收集的真实世界的Vega-Lite图表，具有高复杂度和多样性。
  • 使用三阶段方法：
    1. 预处理数据集: 优化Vega-Lite规范，简化输入。
    2. 基于指导发现的生成: 通过"脚手架"和关键问题，引导模型自驱生成更准确的NL数据集。
    3. 基于评分的改写: 通过四种语言轴(清晰度、正式度、主观性、专业性)提高语法多样性。

• 该解决方案的创新之处是什么？

  • 让模型通过自导的指导发现机制生成数据集，从而提高生成的准确性和语言多样性。
  • 新引入的评分改写方法允许在可控范围内生成语法上不同但语义一致的多样化数据。
  • 数据集不仅规模较大，且覆盖复杂且交互性丰富的图表，这在之前的工作中较为少见。

• 实施步骤是什么？使用了哪些关键技术？

  • 使用GitHub API收集并筛选符合条件的Vega-Lite规范。
  • 通过LLMs生成图表语义及多层次的自然语言描述，结合Chain-of-Thought提示策略进行指导。
  • 应用改写技术，根据四轴评分生成多语法风格的同义句。

研究成果

• 取得了哪些具体成果？

  • 数据集包含1,981个Vega-Lite图表，相较基线数据集，复杂性提高4倍，交互性提高5倍。
  • VL2NL生成的L1和L2描述分别达到89.4%和76.0%的准确率。
  • 生成的NL数据集在多个统计度量上展示了更高的多样性。

• 与现有解决方案相比，它有哪些优势？

  • 数据多样性和复杂度显著提升，为复杂图表及交互性的应用场景提供了更丰富的数据支持。
  • 生成的自然语言句子不仅语法丰富，且提高了NLIs训练数据的覆盖范围。

• 实验或评估结果是什么？

  • 在不同复杂度图表上的测试表明，VL2NL框架能够稳健地生成高质量的描述、问题和语句。
  • 通过细化的实验（包括基线数据集的对比和多种改写句的生成），证明评估指标上的领先性。

• 局限性与未来方向

  • 局限性：依赖Vega-Lite规范无法捕获未显式表达的信息；生成的NL数据集有限于当前使用的语言轴和数据格式。
  • 未来方向：
    • 增强框架能力，如通过外部资源访问补充常识和领域知识。
    • 扩展生成自然语言数据集的范围，覆盖交互式对话和多文档引用。
    • 开发针对Vega-Lite规范的增强方法，以提高数据规格的数量和多样性。

该文献提供了基础而全面的自然语言数据集生成框架，可以显著促进数据可视化领域的研究及NLIs的进步，展示了LLMs的强大应用潜力。