PinchCatcher：启用凝视+捏合的多选功能

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 在扩展现实（XR）的眼动追踪和手势互动中，多项选择功能尚未成熟，特别是如何在不显著增加用户负担的情况下有效支持多项选择。尽管眼动+手势（gaze+pinch）互动在XR中具有潜力，但存在手部姿势造型（如预形）受限、视线注意需求竞争和多项选择吞吐量不足等问题。同时，传统多项选择需要转变为XR适合的模式。
  • 当前的多项选择技术，特别是基于持久模式或复杂手势切换的功能，通常会引入更高的认知或身体负担。

• 为什么这个问题很重要？

  • 多项选择广泛应用于用户界面操作（如文件管理、游戏等），其效率与可用性直接影响用户体验。因此，在复杂的XR环境中设计高效且直观的多项选择方法是关键。
  • 现代XR头显（如HoloLens 2，Quest Pro）日益普及，这些设备嵌入眼动追踪和手势识别功能，为创新互动模式提供了基础。

• 研究动机与相关工作

  • 当前的研究主要集中在2D桌面设备或触屏设备的多项选择设计，而对结合眼动和手势的多项选择技术研究较少。
  • 尽管一部分研究探讨了手势与眼动的结合，但高效、多模式转换的设计仍未被充分开发。比如，仅使用眼动或添加额外复杂手势的多项选择方法虽然解决了一些问题，但都以增加用户负担为代价。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出了一种称为“PinchCatcher”的多项选择方案，利用眼动追踪和semi-pinch（半捏）手势的结合，设计了四种触发子选择的方式：
    1. SemiDwell：基于注视时间触发选择。
    2. SemiSwipe：通过手部向左滑动触发选择。
    3. SemiTilt：通过手部右倾触发选择。
    4. SemiNDH：由非主导手的捏合触发选择。
  • 这些方法允许用户通过semi-pinch状态进入“准模式”，在完成全捏（full-pinch）手势之前完成灵活的多项选择。

• 该解决方案的创新之处是什么？

  1. 使用semi-pinch手势作为模式切换工具，与眼动追踪结合，设计了一种自然且兼容XR多目标操控的模态切换机制。
  2. 提出了一种单手交互模式，使用户无需过多关注手部状态，并赋予另一只手执行辅助任务（如滚动列表、调整物体）。
  3. 在子选择环节提出了多种触发逻辑并进行了详细比较，兼顾简单性、低认知负担和明确意图。

• 实施步骤是什么？使用了哪些关键技术？

  1. 通过半捏手势（控制手指之间的距离）进入多项选择模式。
  2. 使用眼动与上述四种方法触发具体子选择。
  3. 用全捏手势完成多项选择并启动相应操作。
  4. 基于Meta Quest Pro进行实验系统的实现，包括半捏检测、注视点检测和子选择触发逻辑的实现。

研究成果

• 取得了哪些具体成果？

  • 任务完成时间：不同技术之间的任务完成时间并没有显著差异，但目标数量增加显著延长了完成时间。
  • 错误率：SemiSwipe显著减少了错误率，且总体选择稳定性优于所有其他模式。
  • 用户评估：SemiSwipe和SemiDwell是参与者的最受欢迎方法，而SemiNDH因其高物理负担评分较低。
  • 用户体验：SemiSwipe获得较高的综合使用评价，最优评估得分来源于其与视线不强绑定的触发机制。

• 与现有解决方案相比，它有哪些优势？

  • PinchCatcher与传统基于固定模式或复杂手势割裂的多项选择方法相比，简化了用户操作，减少了认知负担。
  • 其semi-pinch+eye gaze结合方式有效避免当前解决方案中的高学习成本或用户疲倦问题。

• 实验或评估结果是什么？

  • 半捏技术优于双手方法：像FullDH（双手技术）虽然熟悉度高，但错误率和疲劳感劣势明显。
  • SemiSwipe突出优势：错误率低、交互评价好、使用便利；但因手部动作幅度大，有适当优化空间。
  • SemiDwell被两极化评价：低物理负担但倾向误触（Midas Touch）。
  • SemiTilt因敏感度和疲劳感问题表现欠佳。

• 局限性与未来方向

  1. 研究范围局限：当前研究仅探索了适用于小目标集的串行多项选择，而大规模目标选择和并行选择技术仍有待拓展。
  2. 硬件依赖与设置限制：实验依赖特定的硬件和阈值，未来需要更广泛适配性和个性化设置。
  3. 更多场景扩展：需要验证其他复杂3D场景（如动态对象、遮挡等）中技术的适用性。
  4. 改进反馈机制：可以探索更多形式的视觉、听觉或触觉反馈，进一步提升用户意识和准确性。