在线-EYE：用于XR的多模态隐式眼动追踪校准

研究背景与问题

• 发现的挑战与问题：

  • 眼动追踪在扩展现实（XR）中需要个性化的校准，传统的显式校准方法要求用户在使用设备时每次重新校准。这是一项繁琐且容易因用户不准确操作而失败的任务。
  • 校准过程会中断用户任务并影响体验。此外，设备滑动等行为可能会导致校准漂移。
  • 针对手部跟踪已经存在通用的模型，但对眼动追踪仍然需要显式校准。研究中需要探讨是否可以利用通用的“泛化模型”和隐式校准减少显式校准的需求。

• 研究的重要性：

  • 眼动追踪已成为XR交互的核心输入技术，例如用于视线+手势的结合交互方式。
  • 实现无缝的校准将降低设备使用门槛，优化用户体验，并适用于共享设备等实际应用场景。

• 研究动机与相关工作：

  • 当前关于显式和隐式校准的工作仍存在诸多局限：显式校准打断任务且精确度依赖于用户的合作；隐式方法则需要更进一步改进以提升实时性和准确性。
  • 眼部协调与手部交互的研究表明用户在触发点击时通常会注视目标。这一基础为隐式校准提供了新的可能性。

解决方案

• 提出的方法或解决方案：

  • 提出了“Online-EYE”，一种基于用户在交互界面的目标点击行为的多模态隐式眼动追踪校准方法。
  • 方法通过分析用户的注视点数据与控制器操作点击的位置关系，采用机器学习技术实时优化校准矩阵。
  • 假定用户在点击目标时准确注视目标，并在各种UI（图形界面）环境中验证了这一假设。

• 方法的创新之处：

  • 相较于传统显式校准，Online-EYE实现了实时、后台隐式校准，不打断用户任务。
  • 在线标定无需收集大规模训练数据，仅需8-9次UI点击即可达到接近传统显式校准的精度。
  • 提供了一种从默认通用模型到用户个性化校准的无缝转换方式。

• 实施步骤与技术细节：

  1. 基础假设验证：
     • 设计实验验证用户点击目标时是否注视目标（假设成立）。
  2. 基于UI元素的隐式校准：
     • 模拟通用模型（上一位用户的校准数据），通过不同UI任务，记录点击目标的偏差并应用递归最小二乘算法优化校准矩阵。
  3. 实时校准算法：
     • 采用递归最小二乘（RLS）算法，通过“遗忘因子”动态调整权重，实时更新校准矩阵。
  4. 应用场景验证：
     • 在“空间入侵者游戏”和“用户问卷”中评估隐式校准的实际应用效果。

研究成果

• 具体成果：

  • 在多个实验任务中，隐式校准显著提高了初始通用模型的眼动追踪精度，可与显式校准的性能在某些场景中媲美。
  • Online-EYE在实验中通过平均8-9次点击快速启用精确的视线选择功能。

• 与现有解决方案的比较：

  • 相较显式校准，隐式校准在不打断用户任务的同时，也能实现动态校准，尤其是在用户频繁与系统交互时表现稳定。
  • 相较其他隐式校准技术，Online-EYE适用于多种UI交互类型（按钮、拖放、滑块等）且准确性与显式校准相当。

• 实验或评估结果：

  • 在用于评估的方法中，隐式校准的平均错误（1.94°）显著优于未校准的通用模型（3.08°）。显式校准虽然表现更好（1.19°），但主要在涉及视野外围地带时才表现出显著优势。
  • 工作距离（0.5米和2米）对隐式校准的精度没有显著影响。
  • 在两种应用场景中的用户体验验证显示，隐式校准实现了手动校准难以比拟的流畅性。

• 局限性与未来方向：

  • 校准范围受UI元素覆盖的视场限制，导致边界区域校准不准确。未来可设计策略分布更多UI元素覆盖更广视场。
  • 用户在校准精度不足时可能以“补偿行为”调整视线，影响校准算法的准确性。未来研究可结合更智能的光标调整方法或允许用户手动切换输入模式。
  • 当前研究集中于VR中的控制器操作，后续需验证手势控制等其他输入方式在该隐式校准模型中的适用性。

总结而言，Online-EYE方法显著降低了显式校准的复杂性和时间成本，为XR领域的眼动追踪打开了新的使用场景和潜力，为未来多模态交互技术的进步奠定了基础。