关注多样：评估扩展现实中多对象选择的眼神、手势和语音交互

文献标题

Eyes on Many: Evaluating Gaze, Hand, and Voice for Multi-Object Selection in Extended Reality

出版信息

• 研究领域: 使用注视、手势和语音模态进行扩展现实（XR）中的多目标选择技术。
• 关键词: 多目标选择, 扩展现实, 注视交互, 手势操作, 语音命令, 模态切换, 次级选择, 可用性, 用户研究, XR交互。

背景与问题

• 问题/挑战: XR中的多目标选择研究较少，特别是模态切换和次级选择技术对用户表现的影响尚未充分探讨。现有研究主要集中于小型目标集或有限的交互模态，尚未解决这些技术在更大目标集中的扩展性或相互作用问题。
• 意义: 多目标选择是XR中高效交互的关键，能够加速对多个对象的操作。理解不同技术之间的权衡可以为XR系统设计提供更好的指导。
• 动机与相关工作: 之前的研究分别探讨了注视、手势和语音交互，或在有限组合中进行研究，通常关注小型目标集或特定模态。持久性和准模态切换方法已在二维场景中研究，但在XR中的应用尚不明确。本研究基于这些工作，评估模态切换和次级选择技术在更大目标集中的组合效果。

解决方案

• 提出的方法: 系统性评估四种模态切换技术（SemiPinch、FullPinch、DoublePinch、Voice）和三种次级选择技术（Gaze+Dwell、Gaze+Pinch、Gaze+Voice）在XR中的多目标选择表现。
• 创新点:
  1. 对模态切换和次级选择组合在XR中的全面实证分析。
  2. 确定DoublePinch是最有效的模态切换技术，尤其是与Gaze+Pinch结合时表现最佳。
  3. 证明SemiPinch因不稳定性和疲劳问题不适用于较大的目标集。
• 方法与关键技术:
  • 模态切换技术：
    • SemiPinch: 准模态，要求手指间距为2–7厘米。
    • FullPinch: 准模态，要求完全捏合（<2厘米）。
    • DoublePinch: 持久模态，通过350毫秒内连续两次捏合触发。
    • Voice: 持久模态，通过预定义语音命令激活。
  • 次级选择技术：
    • Gaze+Dwell (gD): 通过注视固定450毫秒进行选择。
    • Gaze+Pinch (gP): 通过注视目标并进行完全捏合选择。
    • Gaze+Voice (gV): 通过注视目标并使用语音命令选择。
  • 用户研究设计：
    • 30名参与者在受控VR环境中完成包含6、8或10个目标的多选择任务。
    • 评估指标包括任务完成时间（TCT）、模态切换时间（MST）、错误率、反效率以及主观反馈。

结果

• 具体发现:
  • DoublePinch + Gaze+Pinch组合表现最佳，任务完成时间最短、错误率最低、效率最高。
  • SemiPinch错误率最高，疲劳感最强，效率最低，尤其在目标数量增加时表现更差。
  • 持久模态（DoublePinch、Voice）在稳定性、可用性和用户偏好方面优于准模态（FullPinch、SemiPinch）。
  • Gaze+Pinch是最快的次级选择技术，而Gaze+Dwell速度较慢但错误率较低。
  • Gaze+Voice因重复语音命令被认为较为繁琐。
• 相较基线的优势:
  • 持久模态减少了模态切换错误和疲劳感，相较准模态表现更优。
  • DoublePinch在较大的目标集中扩展性更好，保持了低错误率和高效率。
• 实验/评估:
  • 被试内设计，每位参与者完成108次试验。
  • 评估指标包括TCT、MST、模态错误、意外次级选择比例、反效率以及主观工作负荷（NASA-TLX、SUS、Borg CR10）。
  • 结果通过重复测量方差分析和事后检验进行分析。
• 局限性与未来工作:
  • 研究集中于二维网格布局中的串行多选择任务，限制了对三维或不规则布局的普适性。
  • 未研究取消选择和并行选择技术。
  • 未来工作应探索更自然的三维环境、并行选择以及取消选择策略。

总结

本研究系统性评估了XR中的模态切换和次级选择技术，发现持久模态（DoublePinch、Voice）在稳定性、效率和可用性方面优于准模态（FullPinch、SemiPinch）。DoublePinch与Gaze+Pinch组合表现最佳，而SemiPinch因不稳定性和疲劳问题不适用于较大的目标集。这些发现为XR系统设计提供了可操作的建议，强调模态切换稳定性以及模态切换与次级选择技术之间的相互作用的重要性。未来工作应将这些洞察扩展到更复杂的三维环境和并行选择场景中。