HAGI：移动眼动追踪器的头部辅助视线填补

DOI

移动眼动追踪在捕捉现实环境和扩展现实（XR）中的人类视觉注意力方面起着至关重要的作用，使其成为从行为研究到人机交互等应用的重要工具。然而，由于眨眼、瞳孔检测错误或光照变化导致的缺失值对进一步的眼动数据分析构成重大挑战。为解决这一挑战，我们引入 HAGI——一种多模态基于扩散的视线数据填补方法，首次利用集成头部方向传感器来利用头部和眼动之间的内在相关性。我们的方法包括头部运动特征提取模块以及一种新颖的混合特征融合机制，有效地在多个层面整合视线和头部运动特征。此外，我们引入了一种定制的损失函数，以进一步增强视线填补的准确性。在大规模的 Nymeria、Ego-Exo4D 和 HOT3D 数据集上的广泛评估表明，HAGI 一致性地优于传统插值方法和基于深度学习的时间序列填补基线，将平均角度误差降低高达 22%。此外，统计分析证实，HAGI 产生的视线速度分布比基线更接近实际人类视线行为，确保了更真实的视线填补。我们的方法为更完整和准确的现实世界眼动记录铺平了道路，并在各种应用领域增强基于眼动的分析和交互方面具有重要潜力。