SalChartQA: 驱动信息可视化的问答显著性

文献标题

SalChartQA: Question-driven Saliency on Information Visualisations

文献信息

• 主题领域: 信息可视化与视觉注意力建模
• 关键词: 信息可视化, 眼动研究, 注视行为, 视觉显著性, 深度学习

研究背景与问题

• 识别问题或挑战:
  • Current research lacks large-scale、多样化的数据集来研究视觉注意力和用户信息需求之间的联系。
  • 信息可视化中的用户关注行为尚未与特定信息需求（如问题驱动）详细关联。
  • 现有视觉显著性模型，特别是面向信息可视化的，无法具体预测任务（问题）驱动的显著性地图。
• 研究重要性:
  • 视觉注意力行为分析可以提升信息可视化设计的清晰性、可记忆性和理解性。
  • 问题驱动的视觉显著性研究有助于实现如解释性人工智能（XAI）和任务优化的可视化应用。
• 动机与相关工作:
  • 过去的研究较多集中在自然图像的显著性建模和“自由观察”（free-viewing）情境下的注意力行为。
  • 任务驱动的视觉注意力在诸如网页浏览或游戏情境中有研究，但信息可视化领域的针对性方法和数据仍极为有限。

解决方案

• 方法或解决方案:

  1. SalChartQA 数据集: 创建了一个基于众包的大规模问题驱动显著性数据集，包含3000个可视化，6000个问题，74340条答案及相应的显著性地图。
  2. 显著影响分析: 数据分析展示了问题对视觉显著性的显著影响。
  3. VisSalFormer 模型: 提出一种基于Transformer的模型，可以预测问题驱动下的信息显著性地图。

• 创新之处:

  • SalChartQA 是首个大规模问题驱动的显著性数据集，显著扩充了数据规模和信息需求多样性。
  • 模型 VisSalFormer 同时集成了可视化和问题的语义，首次实现问题驱动显著性的可计算预测。

• 实施步骤:

  1. 数据采集: 使用 BubbleView 接口，通过众包平台追踪用户的点击行为以模拟视觉注意力，形成SalChartQA数据集。
  2. 数据分析: 分析了问题特征（如类型、长度）对点击数量、显著性覆盖范围和注意力的一致性等的影响。
  3. 模型训练: 使用 SalChartQA 训练 VisSalFormer，通过融合视觉和问题特征生成显著性地图。
  4. 比较实验: 将 VisSalFormer 与五种基线方法进行了对比，同时进行消融实验评估组件贡献。

研究成果

• 具体成果:

  1. 生成了一个大规模问题驱动数据集 SalChartQA（3000 可视化，6000 问题）。
  2. VisSalFormer 模型在五项显著性预测评价指标（如NSS、CC、KL等）中均优于现有模型。
  3. 数据分析揭示了信息需求（问题）对视觉显著性的强烈作用，进一步支持问题驱动理论的实践探索。

• 与现有解决方案对比:

  • 相较于传统基于图像特征的模型（如 DVS, TranSalNet），VisSalFormer 能够生成与用户问题直接关联的显著性地图。
  • 通过结合问题语义，VisSalFormer 显示了更高的预测准确度和问答适配性。

• 实验或评估结果:

  • VisSalFormer 在NSS得分上显著超过TranSalNet（1.782 vs 0.794），并且在CC、KL等指标上的优势也具有统计显著性（p<0.001）。
  • 消融实验表明，模型中交叉模态特征融合模块和问题嵌入是性能提升的关键组件。

• 局限性与未来方向:

  • 局限性:

    • BubbleView方法无法完全捕捉文本阅读行为，因此未能包含文本显著性分析。
    • 某些情况下（如颜色相似时）模型的预测不够精确。

  • 未来方向:

    1. 探讨图像和文本显著性之间的相互作用，开发联合模型。
    2. 将问题驱动显著性整合到图表问答系统（CQA）中，以提升模型性能和解释能力。
    3. 基于显著性分析进行信息可视化设计优化，例如提高复杂图形的用户交互效率。
    4. 将问题准确性作为量化可视化质量的评估指标，进一步研究如何通过设计提升用户答案的正确率。