看见眼对AI？将深度特征相似性度量应用于信息可视化

研究背景与问题

• 作者发现问题或挑战： 判断不同信息可视化之间的相似性是许多应用（如可视化搜索、推荐系统以及自动化设计与排序）中的关键问题。然而，人类的可视化相似性感知常涉及复杂的认知过程，难以通过传统的像素级和结构化技术完全捕捉。此外，收集人类判断数据成本高，且仅限于特定实验设计。
• 重要性： 相似性判断直接影响信息设计与沟通效果，提高视觉化工具的效率。它可以使可视化设计更加直接地反映数据之间的真实关系。
• 研究动机： 先前的研究表明，基于深度特征的相似性度量在图像任务中表现优异，能更好地捕捉人类对图像相似性的感知。因此作者尝试将这些技术应用在信息可视化领域，探索此类度量方法能否有效处理 scatterplot 和其他基础视觉元素的相似性判断。

解决方案

• 作者提出的方法：
  • 使用五种深度学习（DL）架构以及三种预训练权重（包括 ImageNet 和 Stylized ImageNet）来扩展现有的深度特征相似性度量。
  • 对比现有的基于梯度下降优化的 MS-SSIM，并通过复现两项旨在研究信息可视化相似性判断的数据驱动实验探索显著性。
• 解决方案的创新之处：
  • 首次将域无关的深度学习迁移技术从计算机视觉领域应用于信息可视化。
  • 验证深度特征能否透过多种信息可视化任务对种类丰富的数据集实现优越的相似性判断。
• 实施步骤：
  1. 网络架构及预训练模型： 作者使用了 AlexNet、VGG16、ResNet、SqueezeNet 和 EfficientNet 等模型，分别提取层级深度特征并计算两两图像间的特征“感知距离”。
  2. 实验复现： 针对 scatterplot 的群集实验（基于 Pandey 等人研究）和基础视觉通道（颜色、大小、形状）的认知实验（复现 Demiralp 等人研究）。
  3. 评价与对比： 在不同任务中计算 Spearman 排名相关系数以评估深度特征模型与人类感知结果之间的相似性。

研究成果

复现 Veras 与 Collins 的实验

• 具体成果：
  • 使用 EfficientNet B0、AlexNet 和 SqueezeNet 等模型获得的聚类标签优于基于 MS-SSIM 方法的结果（MS-SSIM 经过特定数据优化），与人类的 scatterplot 相似性感知高度一致。
  • 深度特征模型无需任何散点图领域特定的训练也能展现较强性能。
• 优势：
  • 提供了完全领域无关的解决方案，只依赖 ImageNet 预训练权重，减少了定制化模型开发的成本与工作量。
• 实验结果：
  • 在衡量聚类质量的指标中（例如 AMI、NMI），深度特征模型的平均表现比 MS-SSIM 高 14.04%。
• 局限性与未来方向：
  • 模型主要擅长处理具有复杂分布和空间结构的可视化，如散点图，但对其他数据类型是否适用仍需探讨。

复现 Demiralp 等人实验

• 具体成果：
  • 对颜色、大小、形状相关视觉通道，模型对“大小”的相似性判断表现出色（接近人类判断），但对颜色和形状的相似性捕捉能力较弱。
  • 对形状的感知，模型无法处理如同人类所具有的旋转不变性。
• 优势：
  • 提供有力证据表明模型在捕捉数据编码特征时（例如物体大小间的空间差异）性能较强。
• 实验结果：
  • 在部分任务中，模型性能接近像素空间度量（例如 MSE），尤其是在颜色通道的相似性上；训练权重对低级视觉特征的影响有限。
• 局限性与未来方向：
  • 深度特征模型需进一步设计改进，重点解决色彩文化关联和高层次语义感知方面的不足。
  • 拓展模型至多模态数据可视化（如包含文本、交互性的场景）；进一步探索 Stylized ImageNet 权重的潜力。

总结与意义

• 关键发现：
  1. 深度特征度量方法在复杂信息可视化任务中能够有效工作。
  2. 模型对基础视觉通道的表现受限于感知与概念之间的差异。
  3. 网络架构对性能影响较小但数据集质量和学习框架影响显著。
• 未来方向与应用：
  • 增强模型的旋转不变性与多视图一致性。
  • 开发统一的基准用于评估各种视觉和非视觉信息的相似性模型。
  • 结合深度特征方法缓解实验设计前和后期的人类测试工作压力（如筛选设计选项、量化设计效果）。

此次研究为视觉化领域带来了有益借鉴，在深度学习模型支持下能够进一步优化和扩展信息可视化应用中的设计与分析工具。