VoiceRay：虚拟现实中遮挡和密集环境下的三维目标选择技术

文献标题

VoiceRay: 3D Object Selection Technique for Occluded and Dense Environments in Virtual Reality

出版信息

• 主题领域: 虚拟现实中密集和遮挡环境下的3D对象选择。
• 关键词: 3D对象选择, 虚拟现实, 射线投射, 语音交互, 密集环境, 遮挡, 可用性, 认知负荷, 沉浸感, 消歧技术。

背景与问题

• 问题/挑战: 现有的虚拟现实3D对象选择技术（如射线投射）在密集和遮挡环境中难以进行有效的消歧。这些方法通常需要多步交互、场景修改或额外输入，可能增加认知负荷，破坏沉浸感并降低可用性。
• 重要性: 高效直观的对象选择对虚拟现实应用至关重要，包括训练、医学模拟和数据可视化，这些场景中密集和遮挡环境较为常见。
• 动机与相关工作: 先前的技术包括手动方法（如AlphaCursor, LassoGrid）、启发式方法（如BubbleRay）和行为方法，每种方法在准确性、可用性和沉浸感方面都有权衡。基于语音的方法显示出潜力，但面临语音处理延迟、记忆负担和反馈有限等挑战。本文通过将语音输入与射线投射相结合，解决了这些问题，从而实现高效的消歧。

解决方案

• 提出的方法: VoiceRay，一种基于语音的射线投射技术，允许用户通过语音指定目标在射线上的序数位置（例如，“第二个对象”），实现消歧，无需修改场景或额外输入。
• 创新点:
  1. 将语音输入与射线投射结合，用于密集和遮挡虚拟现实环境中的3D选择。
  2. 避免场景修改，保持用户的沉浸感。
  3. 提供即时的视觉反馈和低延迟的语音识别，实现高效交互。
  4. 系统性地与五种现有技术进行比较，分析性能、可用性、认知负荷和沉浸感。
• 流程与关键技术:
  1. 用户使用VR控制器将射线指向目标簇。
  2. 所有相交的对象被轮廓化，用户通过语音说出目标的序数位置。
  3. 系统转录语音命令并高亮选定对象以供确认。
  4. 语音识别使用Meta Voice SDK实现，识别延迟为120–150毫秒。

结果

• 具体发现:
  • VoiceRay实现了最快的选择时间（显著快于BubbleRay和射线投射）以及最低的错误率之一。
  • VoiceRay的SUS评分为84.27（A级，优秀）。
  • 参与者认为VoiceRay的心理负担较轻，挫败感较低，相较其他技术更具优势。
• 相较基线的优势:
  • 相较射线投射和BubbleRay，选择速度更快，错误率更低。
  • 相较AlphaCursor, LassoGrid和RayCursor，具有更高的可用性和偏好评分。
  • 相较AlphaCursor和LassoGrid等修改场景的技术，保持了更高的沉浸感和真实感。
• 实验/评估:
  • 24名参与者在一个包含220个球体的密集VR环境中测试了六种技术（VoiceRay, AlphaCursor, RayCursor, LassoGrid, BubbleRay, 射线投射）。
  • 指标包括选择时间、错误率、可用性（SUS）、认知负荷（NASA-TLX）和沉浸感（IPQ）。
  • 后续的试验性研究探索了替代工作流（如ButtonRay, VoiceLockRay），但未发现显著的性能改进。
• 局限性与未来工作:
  • 仅限于英语使用者；需要探索跨语言的鲁棒性。
  • 测试最多涉及射线上的四个相交对象；未来研究应调查更高密度的场景。
  • 语音识别在嘈杂或多用户环境中可能面临挑战，需要进一步优化。

总结

VoiceRay是一种基于语音的射线投射技术，专为密集和遮挡虚拟现实环境中的3D对象选择而设计。与现有方法相比，它在消歧方面更快、更准确，同时保持用户的沉浸感并尽量减少认知负荷。研究通过定量和定性评估证明了其有效性，展示了其在虚拟现实训练、医学模拟和数据可视化等应用中的潜力。未来工作可以扩展VoiceRay以支持更复杂的场景、更高的对象密度以及更多样化的用户群体。