收集和描述用于指定数据可视化的自然语言表达

文献标题

Collecting and Characterizing Natural Language Utterances for Specifying Data Visualizations

文献信息

• 主题领域: 数据可视化与自然语言接口
• 关键词: 数据可视化，自然语言接口，自然语言处理，自然语言数据集，可视化规范

研究背景与问题

• 问题与挑战: 数据可视化中的自然语言接口（NLIs）日益流行，但目前对用户如何自然语言描述可视化所需的经验性理解较为欠缺。例如，用户习惯使用哪种类型的自然语言句式？他们的输入中包含了哪些信息（如图表类型、数据聚合等）？现有系统如何对这些习惯和内容进行支持？
• 重要性: 通过理解用户的自然语言输入，可以改善现有的可视化系统设计，增强用户体验，尤其是在支持可视化新手和具有特定需求的用户（如残障人士）方面。
• 研究动机: 本研究希望填补当前对用户自然语言输入缺乏系统性理解的空白，并借助数据集促进NLI的开发、评估和优化。

解决方案

• 研究方法:

  1. 在线用户研究: 研究人员开展了一项在线实验，招募了102名参与者，要求他们通过自然语言描述生成特定的可视化图表。
  2. 数据收集与清理: 从参与者输入中整理出893条自然语言输入描述（称为“utterances”），并对数据进行了筛选和清理。
  3. 数据分类与特征描述: 将收集的自然语言输入归类并解析，主要分析其句式结构和包含的可视化信息。

• 创新点:

  1. 提出了一个专门收集用户自然语言输入的研究方法，结合迭代式的设计优化确认研究内容与用户行为之间的一致性。
  2. 创建了第一个公开的、针对可视化制定的自然语言数据集，涵盖常见的图表类型及相关语料。

• 实施步骤与技术:

  • 使用10种常见图表类型（如条形图、散点图）以及3个包含分类、数值、时间数据的实际数据集（如汽车数据集）。
  • 参与者通过随机化顺序的任务完成输入，研究细致记录并剔除了无效条目。
  • 使用开源分析工具（如NL4DV）评价样本数据集对现有NLI的性能支持。

研究成果

• 具体成果:

  1. 收集并清洗了一个包含893条自然语言输入的标准化数据集，涵盖了常见图表类型和数据属性。
  2. 对自然语言输入进行两方面的分析：
     • 句式结构: 自然语言输入主要分为命令式输入（45%）、查询式输入（32%）、问题型输入（14%）及少量其他描述性句式。
     • 输入信息: 用户输入中含有多种信息标签（如明确指明的属性、隐含或显式的聚合方式、图表类型及编码详述）。

• 与现有方案的比较:

  • 数据显示现有的NLIs（例如NL4DV工具）在解析用户自然语言输入时存在不足，例如对语义相关属性的映射支持较弱。
  • 本研究数据集在训练机器学习模型（例如TF-IDF分类器）方面表现出用于改进NLI发展的潜力。

• 实验或评估结果:

  • 使用NL4DV对数据集进行基准测试，系统在约75%的输入测试中能够产生部分或完整匹配。
  • 将数据集用于分类器开发时，简单机器学习模型（如逻辑回归）可获得高达88%的准确率。

• 局限性与未来方向:

  1. 数据输入形式仅限于文本，未包含语音等交互方式。
  2. 数据集规模较小，需要未来通过更大范围的众包或特定用户群体（如可视化初学者）扩展样本。
  3. 当前研究仅涉及单图表的自然语言输入，未来研究可探索多图表或仪表盘输入场景。
  4. 在数据清理和分类上，流程目前依赖人工操作，未来需要开发更自动化的清理工具和规则库。

总结

• 本研究是对自然语言描述数据可视化的首次系统性研究，收集并分析了用户的自然输入数据，提出了可供后续研究使用的公开数据集。
• 数据集和研究结果为改进当前NLI设计提供了重要参考，也为自然语言处理技术在数据可视化中的应用开创了新的方向。