基于眼睛和头部终点分布预测增强现实头戴设备中的凝视目标选择

文献标题

Predicting Gaze-based Target Selection in Augmented Reality Headsets based on Eye and Head Endpoint Distributions

文献信息

• 主题领域: 增强现实中的注视目标选择建模
• 关键词: 增强现实, 目标选择, 选择建模, 眼球输入, 错误预测, 多模态输入, 头眼协调

研究背景与问题

• 问题或挑战: 增强现实 (AR) 系统中的目标选择是基础交互任务，然而基于注视的选择往往由于追踪设备的噪声和用户注视点的不稳定性而不够准确。此外，现有的许多方法会破坏用户界面的视觉一致性，或者因增加额外步骤而引入复杂性。
• 重要性: 随着 AR 设备被广泛采用（如 HoloLens 等），用户在使用双手被占用的情况下，基于注视的输入可以作为替代手势和控制器的方式。此外，通过提高注视选择的准确性，可以改善系统的自然交互性。
• 研究动机与相关工作:
  • 当前的研究主要集中在二维界面中的选择建模或基于1D/2D目标的终点分布建模上。
  • 在三维环境中，现有工作大多着重于手部和头部选择，但鲜有专注于面向基于注视的三维目标选择的终点分布建模。

解决方案

• 方法或解决方案:
  1. 提出了两个基于终点分布的注视目标预测模型：
     • 单模态模型：仅基于用户触发选择时的眼部终点。
     • 多模态模型：结合了眼部终点和头部终点。
  2. 数据来源：
     • 通过用户实验，收集包含选择时间、轨迹、头部方向等数据。
  3. 模型基础：
     • 使用贝叶斯理论构建概率性目标预测模型。
     • 假定眼部和头部终点分布均符合双变量高斯分布。
• 创新之处:
  • 新提出的多模态模型结合了注视和头部指向方向。
  • 模型使用简单的线性回归捕捉影响注视行为的目标宽度与距离等因素。
  • 在不改变交互界面视觉表现的情况下提升了目标选择的精度。
• 实施步骤与关键技术:
  1. 数据收集实验：以眼部和头部终点为核心，通过人为设置目标宽度、距离和确认机制（如“眨眼”或“空中点击”）进行实验。
  2. 模型构建与拟合：通过线性回归分析用户选择行为的统计数据，并建模终点分布的参数。
  3. 评估实验：将预测模型与传统选择方法（如视觉边界标准, VBC）进行对比。

研究成果

• 具体成果:
  1. 提出的预测模型在目标宽度较小时（例如0.5°），能将目标选择准确率提升约61%。
  2. 相较于传统VBC方法，两个预测模型（单模态和多模态）均显著提高了选择精度，尤其是在小目标和远距离情境中。
  3. 单模态模型和多模态模型在多数情况下性能相近，但多模态模型在更远的目标处表现稍优。
• 优势对比:
  • 与传统VBC方法相比，预测模型稳定性高，能处理更复杂的场景（如目标较小、距离较远或背景分散）。
  • 不改变UI界面和无需引入额外操作步骤。
• 实验与验证结果:
  1. 在综合用户实验中，本团队所提模型的预测精度平均达到了94%-99%。
  2. 多模态模型在需要更大的头部移动距离时表现优，可以在复杂交互情境中提供辅助。
• 局限性与未来方向:
  1. 目标类型和环境的局限：
     • 实验主要在静态圆形目标和控制环境下进行，未来需验证模型在复杂场景（如动态目标或复杂背景）中的性能。
  2. 搜索行为的影响：
     • 当前实验使用的是可预见的目标序列，未来需研究用户在自由搜索场景中的头部和眼部行为。
  3. 设备依赖性：
     • 现有研究基于 Microsoft HoloLens 2 的眼动追踪数据，但硬件限制可能会影响结果精度，应在更高精度的设备上验证模型。