UEyes: 理解不同用户界面类型的视觉显著性

文献标题

UEyes: Understanding Visual Saliency across User Interface Types

文献信息

• 主题领域: 计算机视觉与人机交互中的视觉显著性预测
• 关键词: 人类感知与认知, 交互设计, 计算机视觉, 深度学习, 眼动跟踪

研究背景与问题

• 问题与挑战:

  • 不同类型用户界面（UI）在布局、视觉元素使用上差异显著，但目前对于这些差异如何影响用户注视模式的理解仍有限。
  • 存在的数据集通常规模较小或仅限于某些UI类型，且许多研究使用鼠标轨迹或人工标注作为眼动数据的代理，精确性有限。
  • 当前用于视觉显著性和注视路径预测的模型在不同UI类型采用统一训练时表现较差。

• 研究的重要性:

  • 掌握UI中用户的视觉显著性特性对优化设计、提升用户体验至关重要。
  • 数据驱动的视觉显著性模型能够指导UI设计师更有效地平衡视觉信息分布。

• 研究动机:

  • 提出并分析多类型UI的眼动跟踪数据集，揭示不同类型UI在视觉显著性上的差异。
  • 改进现有显著性预测模型使其更好地适用于跨UI类型场景。

解决方案

• 解决方案概述:

  • 构建了新型高保真眼动追踪数据集UEyes，涵盖网页、桌面UI、移动UI及海报四大UI类型，包含1980个UI截图及62名用户的注视路径。
  • 对视觉显著性相关特性（如位置偏差、颜色偏差、扫描路径角度及幅度）进行分析。
  • 比较多种显著性预测模型，发展改进模型（UMSI++、SAM++）以提升性能。

• 主要创新点:

  1. 提出并公开了涵盖多种UI类型及高质量眼动数据的通用化数据集UEyes。
  2. 系统分析了多种UI类型的视觉显著性差异，首次揭示UI类型中特有的偏差特性，如上左区域偏差和文本偏好。
  3. 提出了更合理的损失函数和训练策略来优化显著性预测模型的跨UI能力。

• 实施步骤与关键技术:

  • 数据采集：使用高保真眼动跟踪设备（60 Hz采样率）收集用户注视数据。
  • 数据分析：通过统计对比显著性图、注视路径和特定属性（如颜色、区域）的差异。
  • 模型改进：结合分布式损失（KL散度）和基于位置的损失（NSS）开发新的显著性预测模型（UMSI++）。
  • 模型评估：对比多个显著性及扫描路径预测模型，包括传统计算模型、数据驱动方法和改进模型。

研究成果

• 具体成果:

  • 数据集UEyes详细包含495个网页、桌面UI、移动UI及海报的截图及其关联的眼动数据。
  • 分析结果显示所有UI类型均存在较强的上-左区域注视偏好，文本元素较图片更易吸引注视。
  • 明确指出不同UI类型的特性，如移动UI显著性元素较少、用户更专注，海报更偏向较长的水平移动路径。

• 模型性能改进:

  • 优化后的UMSI++模型提升了不同UI类型显著性图的预测精度，在标准AUC度量中优于竞争方法。
  • 数据表明，多类型UI训练可显著提升模型的泛化能力和跨界预测性能。

• 实验与评估结果:

  • 提出的模型在各种评估指标（AUC、NSS、KL散度等）上表现优于现有模型。
  • 对扫描路径的预测分析中，生成的UMSI++和DeepGaze++模型捕捉到多维注视特性，但在路径的准确性上存在进一步优化空间。

• 局限性与未来方向:

  1. 数据集中移动UI场景还原的现实性需提升，未来应更关注移动设备实际使用环境。
  2. 当前仅通过广义元素分类（如文本、图片）分析特性，未来可结合语义分类和用户任务目标。
  3. 模型生成的显著性图仍存在较多误报热点，后续应增强对非显著区域的抑制。
  4. 扫描路径预测模型对注视顺序的捕捉不足，需引入更复杂的时序嵌入和行为模式建模。

总结

该研究首次系统性探索了多种UI类型中用户视觉显著性的特性与变化，提出的新数据集UEyes和改进的模型UMSI++、SAM++为未来智能设计工具提供了坚实基础。研究表明，显著性与注视轨迹模型需更高保真度数据、更丰富的交互上下文与任务目标信息支持，以进一步提升对复杂UI场景的预测能力与设计指导意义。