SVATA：用于具身认知研究的空域视觉注意力追踪与分析平台

文献标题

SVATA: A Spatial Visual Attention Tracking and Analysis Platform for Embodied Cognition Research

出版信息

• 主题领域: 真实环境中的具身认知与空间视觉注意力分析。
• 关键词: 空间视觉注意力，具身认知，3D视线追踪，HoloLens 2，多模态分析，平均聚焦权重，可视化，博物馆研究，生态效度，开源平台。

背景与问题

• 问题/挑战: 当前的移动眼动追踪平台主要集中于二维、第一人称视角，缺乏用于三维空间注意力分析的集成工作流。这限制了在复杂环境中分析具身任务中的视觉注意力的能力。
• 意义: 在三维情境中理解空间视觉注意力对具身认知研究以及博物馆设计、教育和导航等实际应用至关重要。
• 动机与相关工作: 之前的研究探索了3D眼动追踪与可视化，但通常专注于孤立的组件，而非端到端的解决方案。现有工具缺乏标准化框架来表示和分析空间注意力数据，使得工作流劳动密集且难以扩展。

解决方案

• 提出的方法: SVATA（Spatial Visual Attention Tracking and Analysis），一个开源平台，提供了一个端到端的工作流，用于收集、分析和可视化具身任务中的3D空间注意力数据。
• 创新点:
  1. 将多模态信号（视线、头部姿态、位置）与世界参考的重建几何映射相结合。
  2. 引入平均聚焦权重（AFW/m²）指标，用于量化空间视觉注意力。
  3. 模块化架构支持空间、行为和时间模式的结构化分析及多维可视化。
  4. 使用HoloLens 2和OpenXR实现移动传感和基于桌面的分析，具有部署灵活性。
• 流程与关键技术:
  • 通过射线-网格交点进行空间建模和视线到场景的定位。
  • 基于生理学的聚焦权重模型，用于表示注意力分布。
  • 针对空间、行为和时间维度的结构化分析模块。
  • 提供交互式可视化工具，包括热图、轨迹和注意力演变。

结果

• 具体发现:
  • 在博物馆部署中，SVATA在80次会话中成功捕获了78次有效数据集，成功率为97.5%。
  • 数据完整性为98.46%，视线射线有效性为97.07%。
  • 时间分析显示，注意力密度在连续展览单元中下降了43%。
  • 空间分析区分了不同媒体类型的参与度，交互式装置吸引了更高的注意力（5928.95 AFW/m²），而静态图像为1953.49 AFW/m²。
• 相较基线的优势:
  • 与现有系统相比，SVATA提供了统一的3D空间对齐、多模态集成和结构化分析，解决了可扩展性和可解释性方面的不足。
• 实验/评估:
  • 研究1: 在两个博物馆场所中进行的真实环境部署，78名参与者参与（包括引导路线和自由探索条件）。
  • 研究2: 7名领域专家的验证，系统可用性量表（SUS）得分为77.1（评级为“良好”）。
• 局限性与未来工作:
  • 硬件的侵入性可能影响自然行为；未来版本可采用更轻量的传感器。
  • 任务和情境覆盖范围有限；未来需在多样化环境和任务中进行验证。
  • 未独立验证HoloLens 2的追踪精度；依赖于先前的评估。

总结

SVATA是一个开源平台，专为分析具身认知任务中的空间视觉注意力而设计。它将多模态信号与世界参考的3D映射相结合，引入了平均聚焦权重指标用于量化注意力分布，并提供了结构化分析和可视化工具。通过博物馆部署（N = 78）和专家验证（N = 7）的评估，SVATA在真实环境中捕获和分析注意力数据的可行性得到了证明。专家对其直观的3D映射和可操作性洞察给予高度评价，但硬件侵入性和可扩展性仍需改进。SVATA为研究人员和实践者提供了一个强大的工具包，用于研究具身视觉行为并为自然环境中的设计决策提供支持。