Point & Grasp：通过概率线索整合灵活选择不可达对象

文献标题

Point & Grasp: Flexible Selection of Out-of-Reach Objects Through Probabilistic Cue Integration

出版信息

• 主题领域: 基于多模态概率推断的混合现实（MR）对象选择。
• 关键词: 混合现实，对象选择，概率推断，指向，抓取手势，贝叶斯整合，空间模糊，语义模糊，多模态交互。

背景与问题

• 问题/挑战: 现有的MR对象选择方法依赖单一线索或确定性多线索融合，在空间或语义模糊（例如，场景杂乱或对象形状相似）情况下表现较差。没有单一线索能够可靠地支持多样化的MR场景。
• 重要性: 高效且鲁棒的对象选择对于MR应用（如3D设计、游戏和协作任务）至关重要。解决模糊问题可以提升此类环境中的可用性和准确性。
• 动机与相关工作: 之前的研究探索了方向性线索（如光线投射）和手势线索（如抓取），但两者在特定模糊情况下均存在局限性。确定性多线索方法在主导线索失效时缺乏灵活性。本论文基于这些洞察，引入了一个概率框架以整合互补线索。

解决方案

• 提出的方法: Point&Grasp，一个结合方向性指向和抓取手势的概率多线索整合框架，通过贝叶斯推断实现。
• 创新点:
  1. 引入一个用于MR对象选择的空间和语义线索整合的概率框架。
  2. 开发了Out-of-Reach Grasping (ORG) 数据集，捕捉了可触及和不可触及的抓取手势，并附有兼容性标签。
  3. 创建了一个基于ORG数据集训练的姿态感知手势-对象兼容性模型。
  4. 通过用户研究验证Point&Grasp的性能，表现优于单线索基线方法和最新技术。
• 流程与关键技术:
  1. 将方向性线索建模为基于光线端点与对象中心的高斯似然。
  2. 手势线索通过神经网络建模，利用手部关节位置和对象点云估计手势-对象兼容性。
  3. 通过贝叶斯融合方向性和手势似然，计算目标推断的后验概率。
  4. 在虚拟现实中实现实时反馈，并引入无语义线索时的空手势。

结果

• 具体发现:
  • Point&Grasp在选择准确性和选择时间上均优于单线索基线方法（Point, Grasp）。
  • 在高空间模糊情况下超越BubbleRay并与Expand性能相当，同时避免了Expand在低空间布局中的额外开销。
  • 在空间和语义模糊情况下表现出鲁棒性能。
• 相较基线的优势:
  • 相较单线索方法，选择时间更快，完成率更高。
  • 在各种模糊条件下，与最新技术（BubbleRay, Expand）相比表现相当或更优。
• 实验/评估:
  • 两项用户研究：
    1. 研究1比较了Point&Grasp与单线索基线方法在不同空间和语义模糊情况下的表现。
    2. 研究2将Point&Grasp与BubbleRay和Expand进行基准测试。
  • 评估指标：选择时间、试验完成率以及线索一致性分析。
  • 参与者：两项研究共12至19名用户，采用受控VR设置和随机化条件。
• 局限性与未来工作:
  • 数据集规模和多样性有限；未来工作可扩展ORG数据集以提高泛化能力。
  • 需要针对用户个性化调整线索权重。
  • 探索其他模态（如视线、语音）以及下游任务（如对象操作）。

总结

本文提出了Point&Grasp，一个用于MR中不可触及对象选择的概率框架，通过贝叶斯推断整合方向性指向和抓取手势。该方法利用互补线索解决空间和语义模糊问题，在多样化场景中表现出鲁棒性能。用户研究验证了其相较单线索基线方法的优越性，并在与最新技术的比较中表现出竞争力。该研究贡献了一个新数据集（ORG）和一个手势-对象兼容性模型，为MR中的可扩展多模态交互技术铺平了道路。未来研究可进一步增强数据集多样性、个性化以及整合其他模态。