通过基于光标的交互式隐式校准增强智能手机眼动追踪

研究背景与问题

• 发现问题或挑战

  • 现有基于RGB的智能手机眼动追踪技术在实际应用中表现不佳，存在以下问题：
    1. 缺乏个性化，无法适应不同用户的差异。
    2. 用户姿势频繁变化，而眼动追踪校准通常仅在初次设置时完成，难以持久维持高精度。
    3. 传统方法需要显式校准，用户体验不佳。
  • 优化计算机视觉方法（如扩大数据集或复杂化网络）虽可部分改进，但仍不足以解决姿势变化的问题。
  • 一些实时方法（如基于屏幕注意力优化）在自然环境中对复杂眼动建模效果有限。

• 重要性

  • 眼动追踪技术在智能手机上的广泛应用具有巨大潜力，可用于通知查看、语音命令增强、基于注视的交互等场景。然而，缺乏高精度和低干扰的方法极大限制了其实际应用。

• 研究动机

  • 通过低成本、直观的手眼协调操作，挖掘基于光标轨迹与眼动之间的内在关联，提供无感知隐式校准机制。
  • 结合用户自然操作过程中产生的数据，动态优化眼动模型以提升性能。

解决方案

• 方法与优势

  • 提出了一种交互整合的隐式校准方法 —— COMETIC (Cursor Operation Mediated Eye-Tracking Implicit Calibration)：
    1. 通过光标操作来收集用户的校准数据。
    2. 根据光标和眼动的相关性，筛选可靠的光标位置作为注视点的替代数据。
    3. 使用筛选后的数据对模型进行持续微调，以改进眼动追踪的精度。
  • 与传统静态校准相比，COMETIC具有以下优点：
    1. 无需用户中断当前任务进行显式校准，避免对用户体验的干扰。
    2. 动态个性化适配用户和使用环境的变化。

• 实施步骤与关键技术

  1. 数据采集：通过智能手机前置摄像头记录用户面部视频，同时记录光标位置和注视点。
  2. 数据预处理：
     • 使用图像裁剪技术提取脸部、左右眼区域。
     • 基于统计分析确定光标与注视点的关系（例如光标趋势逐渐接近目标）。
  3. 模型设计：
     • Model 1：从视频中提取注视点的深度神经网络，通过ResNet18提取图像特征并预测注视位置。
     • Model 2：从光标序列中筛选有效数据点的标签，进行多层全连接与LSTM融合。
  4. 微调机制：
     • 利用用户交互过程中收集的数据，对上述模型进行迭代微调以优化性能。
     • 筛选出的有效光标点与图像数据配对，用于持续校准。
  5. 动态交互流程：
     • 用户在激活光标时基于初始估计注视点定位光标。
     • 通过滑动调整光标位置，松开手指完成“点击”。

研究成果

• 具体成果

  • 离线评估：COMETIC在离线条件下将眼动偏差减少到278.3像素（1.60cm, 2.29°），相比未微调情况提高了27.2%。
  • 实时评估：在实验环境下实现了446.7像素（2.57cm, 3.68°）的眼动偏差，相比未微调情况提升50%。

• 相较现有方法的优势

  • 与传统基于显式校准的眼动追踪（如九点或十三点校准）相比，COMETIC提供了一种无感知、持续性优化的方法，更接近于“即插即用”的应用场景。
  • 在隐式方法中，基于光标轨迹的数据筛选和校准展现了更高的个性化和动态适配能力。

• 实验结果

  • 在5轮实时迭代中，眼动误差显著下降，平均每轮误差减少从初始893.6像素下降到5轮后的446.7像素。
  • 最佳校准效果出现在距离阈值（𝜏）150.0px时，对应的误差与实际目标点接近度最大。

• 局限性

  1. 实时表现与离线结果相比差距显著（37.8%的性能差距），原因包括ユーザー姿势变化和摄像内容不稳定。
  2. 效率问题：实时微调模型耗时较长，通常需要超过300秒。
  3. 隐私问题：模型微调需要上传用户图像数据到云端计算。
  4. 内容背景的影响：未充分研究不同内容场景对用户注视行为的变化。

• 未来方向

  1. 提升实时硬件性能，减少模型训练和推理的计算消耗。
  2. 探索针对复杂眼动行为的多模态协同优化机制。
  3. 在动态复杂场景中优化对用户注视行为的建模和适配。
  4. 解决隐私问题，研究本地编码技术或减少对视频细节的依赖。

总结

COMETIC 在智能手机眼动追踪中引入了一种基于光标操作的隐式校准方法，有效改善了眼动精度和交互体验。虽然还有一些局限性需要解决，但其提出的无感知、动态性能优化策略为智能设备中眼动追踪技术的广泛应用提供了切实可行的解决方案。