HiFiGaze：利用屏幕内容知识提高眼动追踪精度

文献标题

HiFiGaze: Improving Eye Tracking Accuracy Using Screen Content Knowledge

出版信息

• 主题领域: 利用屏幕内容知识在消费级计算设备上进行视线估计。
• 关键词: 眼动追踪，视线估计，屏幕反射，消费设备，高分辨率摄像头，屏幕内容知识，无需校准，移动设备，角膜反射，用户前置摄像头。

背景与问题

• 问题/挑战: 传统的基于外观模型的视线追踪方法在普通设备上精度有限（平均误差约为2厘米），且在多样化的屏幕内容和光照条件下表现不佳。
• 重要性: 在日常设备上实现高精度的视线追踪，可广泛应用于无障碍访问、注意力感知和视线感知界面，而无需专用硬件。
• 动机与相关工作: 先前的方法（如ScreenGlint）利用屏幕反射，但需要不切实际的屏幕条件（如全白场）。随着用户前置摄像头分辨率的提高（如4K），捕捉眼中屏幕内容的详细反射成为可能，但如何稳健地利用这些信息仍然是一个挑战。

解决方案

• 提出的方法: HiFiGaze，一种结合高分辨率眼部图像与屏幕内容知识的视线估计方法，用于分割屏幕反射并预测视线点。
• 创新点:
  1. 利用屏幕内容知识分割和分析眼中的屏幕反射。
  2. 引入多种编码策略，包括反射向量和热图，以提高视线预测精度。
  3. 实现无需校准的视线追踪，并在普通设备上提高精度。
  4. 探讨摄像头位置（顶部与底部）对视线估计性能的影响。
• 流程与关键技术:
  • 使用MediaPipe标记点和自定义虹膜中心校正（GrabCut、RANSAC、圆拟合）预处理眼部图像。
  • 将屏幕内容编码为缩略图，与分割的眼部反射相关联，以提取反射热图和向量。
  • 使用深度学习模型训练连接特征（眼部裁剪图像、屏幕缩略图、反射热图/向量）以预测视线点。
  • 在多样化的屏幕内容和光照条件下评估性能，并分析摄像头位置的影响。

结果

• 具体发现:
  • HiFiGaze将平均视线误差从约2.00厘米降低至1.64厘米，相较于基线的外观模型减少约18%。
  • 即使在具有挑战性的条件下（如暗屏），结合屏幕内容知识的模型也优于基线。
  • 对于基于屏幕反射的模型，底部摄像头位置可将精度提高最多18%。
• 相较基线的优势:
  • 在具有挑战性的屏幕区域和光照条件下，相较传统的外观方法显著提高了精度。
  • 单独使用反射热图数据的性能可与基线方法相媲美，具有潜在的隐私保护优势。
• 实验/评估:
  • 在自然条件下（坐姿、站姿、屏幕亮度变化）对22名参与者（约177,000次视线实例）进行用户研究。
  • 对10名参与者进行补充研究，比较顶部与底部摄像头位置。
  • 使用留一参与者交叉验证评估模型。
• 局限性与未来工作:
  • 参与者人口统计学多样性有限（如虹膜颜色、佩戴眼镜者）。
  • 面对暗屏内容以及眼睑/睫毛遮挡的挑战。
  • 需要在动态条件（如行走、光照变化）和设备类型（如笔记本电脑、电视）上进行更广泛的数据收集。
  • 在虹膜中心检测和针对生理差异的自适应建模方面有改进空间。

总结

HiFiGaze提出了一种利用屏幕内容知识和高分辨率摄像头图像的新型视线估计方法，通过分割眼中的屏幕反射提高了精度，相较传统的外观方法提升了约18%，实现了无需校准的普通设备视线追踪。实验表明，该方法在多样化的屏幕内容和光照条件下具有鲁棒性，并通过底部摄像头位置进一步提高了精度。未来工作将致力于提升生态有效性，解决生理差异问题，并扩展至动态使用场景，为实用且广泛部署的视线感知应用铺平道路。