超越视觉的虚拟世界：设计和评估用于非视觉VR探索的音触系统

研究背景与问题

• 发现的问题或挑战: 作者指出现有VR研究对盲人用户的交互和导航支持不足。原因包括VR过度依赖视觉反馈，缺乏与常用白杖相类似的交互工具，以及物理空间对虚拟环境(VE)探索的限制。此外，大规模和复杂的VE（如城市景观）的非视觉探索困难尚未得到充分解决。
• 问题重要性: 大约有2.5亿视障人士无法充分访问VR系统，这限制了技术的民主化。此外，非视觉VR探索的研究可以显著提高这些人的数字包容性，同时为开发反映真实场景的可访问技术提供支持。
• 研究动机与相关工作: 现有研究已经开发了一些音频游戏和触觉反馈设备，但这些技术在规模、复杂性和实际情景模拟方面仍存在不足。尤其是非视觉导航中，现有解决方案往往不能充分支持探索复杂空间，同时忽略了声音和触觉交互的动态性与搭配使用。

解决方案

• 提出的解决方案: 作者设计了一个非视觉交互的VR系统，包括三个关键组件：白杖模拟（触觉反馈）、全方位滑移装置（用于步行原地导航），以及基于空间几何渲染的生成式音频引擎。
• 创新之处:
  1. 采用物理白杖与虚拟白杖互动设计，为用户提供准确的触觉反馈，模拟不同的地面纹理和现实常见表面材料。
  2. 开发了具有真实空间音频属性的虚拟音频引擎，帮助用户理解环境空间状况，如声音衍射、反射和遮挡。
  3. 扩展了城市环境模拟的规模和复杂性，允许用户在安全的VR环境中探索复杂的城市街景与动态场景。
• 实施步骤与关键技术: 系统通过Unity引擎实现，与光学动作捕捉和音频反馈系统集成。白杖触觉反馈通过Oculus Quest Pro的振动马达实现，而步行原地滑移由滑移装置提供机体位移数据。音频方面，采用Audiokinetic Wwise引擎生成高精度时空音频。此外，研究还通过培训和测试验证其在非视觉体验中的有效性。

研究成果

• 具体成果:
  1. 实现了一个详细的白杖触觉反馈设备，可以模拟常见城市环境中的各种地面纹理。
  2. 设计了一个复杂的城市虚拟环境，包括动态的交通车辆、交互式非玩家角色（NPC）和自然场景。
  3. 成功展示了用户能够通过最少的训练，以触觉和音频反馈在非视觉条件下导航大型虚拟空间。
• 与现有解决方案相比的优势:
  1. 系统突破了物理空间限制，通过步行原地技术和全向滑移装置支持大规模的动态虚拟环境探索。
  2. 结合触觉与音频反馈，使用户能够更自然地与环境互动，提升了任务完成率和准确性。
• 实验或评估结果:
  • 在三项任务中（表面识别、过马路、寻物游戏），参与者在非视觉条件下成功完成任务，并展现出较高的精确性。
  • 即使与视觉辅助条件相比，参与者在导航复杂环境中表现出的行为模式和路径选择也与真实世界接近。
• 局限性与未来方向:
  • 局限性: 当前设计未完全反映真实视力障碍用户的交互需求（如白杖使用技巧等），且实验未直接涉及视障群体。滑移装置也存在学习难度和长时间使用的疲劳问题。
  • 未来方向: 作者提议与专业机构合作，将视障用户纳入系统设计与测试中；此外，系统可进一步增强对触觉反馈设备的精度，完善足部反馈技术，并拓展系统至视障者的现实适应性训练场景，同时评估长期的技能转移效果。

通过该研究，作者为设计包容性VR环境奠定了基础，为视障人士拓展了数字领域探索的可能性，并提出了新颖的音频-触觉集成技术。