图表阅读的Task驱动眼动控制

研究背景与问题

• 发现的问题或挑战: 作者指出，目前用于信息可视化的视线追踪（scanpath）模拟模型通常仅能捕获与自由浏览相关的底层注意模式，而未能有效刻画任务驱动的注视路径。这种任务驱动的注视路径反映了用户在处理分析任务时如何通过视觉注意进行推理。此外，采集真实用户的视线轨迹数据（通过眼动仪）既昂贵又耗时，因此需要借助模拟手段。
• 重要性: 理解任务驱动的视线行为对数据可视化设计优化、评估和增强人机交互的可解释性具有重要意义。通过预测用户在具体任务下的注视路径，可以减少传统用户研究的成本并改进界面设计。
• 研究动机与相关工作: 之前的研究主要围绕自由浏览的注意模型展开，但尚未充分探索任务驱动的注视行为。此外，相较于静态的注意力热图，基于任务的注视路径需要同时捕获时间信息和个性化行为，从而提供动态的注视序列。

解决方案

• 提出的方法与解决方案: 本研究提出了一个名为“Chartist”的计算模型，用于模拟用户在完成特定绘图分析任务（例如取值、筛选和寻找极值）时的注视路径。其核心创新在于引入一种两级分层控制架构：高层的认知控制器负责任务理解与决策，低层的眼动控制器负责精确的像素级注视操作。
• 方法的创新性:
  1. Chartist首次将任务驱动的注视预测扩展到图表分析领域，而非传统的自由浏览或目标搜索任务。
  2. 高层控制器利用大型语言模型（LLMs）来对任务进行语义分析，并在内存管理基础上调度子任务，低层控制器则使用深度强化学习（RL）在像素级模拟详细的注视路径。
  3. 模型采用计算理性（Computational Rationality）原则，减少对人工眼动数据的依赖，可直接在合成环境中进行训练。
• 实施步骤与关键技术:
  1. 任务与环境生成: 利用真实与合成的图表数据，标记兴趣区域（AOIs），并基于规则生成任务描述（取值、筛选、寻找极值）。
  2. 分层建模:
     • 高层认知控制器通过POMDP形式建模，利用LLMs处理任务决策并管理工作记忆。
     • 低层眼动控制器通过深度学习策略预测具体的注视位置，以任务和视觉限制为基础优化注视成本。
  3. 训练与测试: 高层控制器借助预训练的语言模型（如GPT-4o），低层控制器通过强化学习（PPO）优化策略，并在训练完成后联合预测注视路径。

研究成果

• 具体成果:
  1. Chartist能够通过输入的一幅图表和任务描述，生成与人类相似的任务驱动注视路径。
  2. 模型在任务驱动场景下实现了跨任务的高仿真预测能力。
• 相较现有解决方案的优势:
  1. Chartist显著优于基线模型（如UMSS及Free-Viewing模型）在基于任务的注视路径预测中，尤其是在语义顺序和任务敏感性方面表现突出。
  2. 模型预测的扫描路径不仅接近人类用户，还可以生成人类行为的统计摘要（例如注视停留时间、区域跳转次数等）。
• 实验或评估结果:
  1. 在多项量化指标（如动态时间规整DTW、Levenshtein距离LEV与序列分数Score）中，Chartist在多数任务中均与人类表现最接近。
  2. 模型预测的注视路径在多项统计特性上完全落入人类表现的一标准差范围内，尤其在捕获任务相关区域的注视比率时表现优越。
  3. 通过定性分析，Chartist能更好地捕获用户在特定任务（如筛选数据点）下的注视策略，而多数竞争模型（如VQA和DeepGaze iii）则经常注视与任务无关的区域。
• 局限性与未来方向:
  1. 局限性:
     • 模型对于复杂的多模态信息处理（如映射、网络图表等）还存在技术兼容性问题。
     • 难以在非常稠密数据点图表或需要高级逻辑推理的情境下精准预测注视路径。
  2. 未来方向:
     • 将模型扩展至多种复杂的可视化类型（如网络、地图等），并引入必要的领域先验知识。
     • 集成多模态学习（如文本+图像系统的视觉语言模型）以增强复杂任务的问答能力。
     • 深化模型对数值计算和数据关系探索的认知模仿能力，以支持更丰富和复杂的分析任务。

总结

Chartist在任务驱动的注视路径模拟方面迈出了重要一步，其创新的分层控制架构和任务对齐能力为信息可视化评估、优化及可解释人工智能提供了有力工具。未来将需要进一步扩展其适用范围，尤其是在复杂图表和推理任务中。