结构感知的可视化检索

文献标题

Structure-aware Visualization Retrieval

文献信息

• 主题领域: 数据可视化检索与表示学习
• 关键词: 数据可视化、可视化检索、可视化相似性、表示学习、可视化嵌入

研究背景与问题

• 随着数据可视化的广泛使用，采用可缩放矢量图形 (SVG) 格式的可视化图形在网络上大量创建和共享。然而，如何从大规模的可视化库中检索感知上相似的图形，已成为备受关注的研究课题。
• 现有方法主要将可视化视为位图图像，仅关注视觉外观，而忽略了 SVG 格式固有的结构信息，包括视觉元素的空间和层次关系。这种结构信息可以帮助从新的角度全面表征可视化图形。
• 面临的挑战：如何有效处理和整合视觉信息与结构信息以改善可视化检索性能。

解决方案

• 方法: 提出一种感知结构敏感的可视化检索方法，结合视觉信息和结构信息来评估可视化的感知相似性。
  • 利用图表示学习技术，将 SVG 转换为反映结构信息的图模型，再将视觉信息转化为位图。
  • 应用了对比表示学习技术，通过自监督学习生成低维嵌入向量，用于表征视觉信息和结构信息。
  • 使用卷积神经网络 (CNN) 提取视觉信息；利用图神经网络 (GNN) 提取结构信息，并通过向量拼接融合两类信息。
• 创新点:
  • 首次明确提出通过结构信息和视觉信息的联合考虑来量化可视化的感知相似性。
  • 采用高效的自监督对比学习方法，减少了数据标注负担。
  • 扩展了传统基于视觉特征的检索方法，使之能够处理 SVG 格式的结构数据。
• 实施步骤:
  1. 结构信息提取: 从 SVG 中提取元素特征（如位置、类型、样式）并构建视觉元素的图表示。
  2. 视觉信息提取: 使用对比学习 (SimSiam) 模型生成视觉表示。
  3. 信息融合: 将视觉信息和结构信息的嵌入向量归一化并拼接，并基于余弦距离实现检索。

研究成果

• 具体成果:
  • 提出了用于表征可视化感知相似性的嵌入向量，并成功实现基于此的相似可视化检索。
  • 设计并实施了结构敏感型的检索流程，显著提升了检索性能。
• 优势与比较:
  • 相比仅考虑视觉信息的传统方法（如 CNN 或 HOG 特征），所提出方法在类型一致性、元素数量一致性和趋势一致性等方面表现更优。
  • 基于实验和用户研究验证了方法在检索准确性及用户主观评价上的优势。
• 实验结果:
  • 定量分析表明，融合结构信息的检索方法在多种性能指标上全面优于基线模型。
  • 用户研究证实，用户对检索结果的平均评分显著提高（平均得分 2.86，高于其他方法）。
  • 案例研究进一步验证了该方法在图表类型区分和趋势一致性上的显著优势。
• 局限性与未来方向:
  • 当前的检索方法未综合趋势的量化指标，未来需探索视觉化趋势的统一量化方案。
  • 方法目前对其它格式（如非 SVG）的图形支持有限，未来可扩展到位图图形和多视图可视化场景。
  • 嵌入向量的融合策略存在冗余信息和存储效率问题，需开发更高效的特征融合方法。