部分融合的现实性：为分布式混合现实会议对齐不同的空间

文献标题

Partially Blended Realities: Aligning Dissimilar Spaces for Distributed Mixed Reality Meetings

文献信息

• 主题领域: 混合现实系统与远程协作
• 关键词: 混合现实, 增强与虚拟现实, 远程协作, 混合现实空间, 近距离过渡

研究背景与问题

• 发现的挑战:

  • 混合现实技术在远程协作中有潜力通过虚拟方式对齐分布的物理空间，从而形成联合互动空间，但当用户物理空间不同时，这种对齐变得困难。
  • 传统方法通常要求物理环境高度一致，而这种要求不符合动态协作工作的本质。
  • 在不同空间中，用户在不同表面间移动时，无法实现持续一致的空间对齐，这可能导致协作体验中断。

• 重要性:

  • 混合现实的应用可以解决传统远程交流工具无法很好地整合用户周边物理环境的问题。
  • 如未来的协作工作需要支持来自任何位置的人员，能够在异质空间中自由切换和协作的混合现实技术将成为关键。

• 研究动机与相关工作:

  • 现有方法尝试通过物理或非线性的变换对齐环境，但无论是扭曲环境形态还是单一对齐，都存在一些困扰用户体验的失真和比例问题。
  • 探索局部对齐方法，即仅对齐与当前任务相关的空间区域，并在用户移动到新表面后调整对齐，是一种更灵活的解决思路。

解决方案

• 方法与解决方案:

  • 提出了一种名为“部分混合现实(Partially Blended Realities, PBR)”的新概念，通过局部对齐设计支持不同时空中的远程用户协作。
  • 提供两个解决方案：
    1. 实时对齐 (Realignment): 用户主动触发表面对齐状态切换，通过渐进动画或瞬间切换实现环境的动态调整。
    2. 叠加 (Overlay): 两层远程用户及表面同时显示，用户通过关注不同层实现间接对齐。
  • 构建一个原型系统“RealityBlender”，用于测试和验证部分对齐技术。

• 创新点:

  • 局部对齐仅涉及与任务相关的物理表面，而非尝试对齐整个空间。
  • 提议的两种对齐技术允许用户在局部区域内转换，并通过主动或被动方式切换对齐的空间参考点。
  • 设计支持了动态使用空间（例如桌面与白板的转换），使用户能够自由调整协作中的对齐模式。

• 实施步骤与关键技术:

  • “RealityBlender”系统实施:
    • 使用Meta Quest 2及Unity3D平台进行开发，集成Oculus XR工具包、Meta Avatars SDK以支持用户交互及多用户网络功能。
    • 用户可以通过手势定义物理表面，并将这些表面虚拟化为协作的行动空间。
    • 提供了动态配置工具来对远程和本地表面进行匹配及对齐操作。

研究成果

• 具体成果:

  • 用户研究发现局部表面对齐有效提升了协作中的“在一起”的感受。
  • 实时对齐技术在用户到达目标位置后的触发会导致一些不适的体验，而提前触发对齐则展示了更加顺畅的过渡过程。
  • 重叠技术允许用户隐性切换关注，但对重复显示多个用户及表面表示混乱。

• 优势与比较:

  • 与现有的全局对齐方法相比，PBR直接解决了异质空间环境中的协调问题，避免了因扭曲空间比例导致的不舒适感。
  • 在支持动态多表面协作上，具有较好的可扩展性。

• 实验与评估结果:

  • 针对三种对齐条件(实时对齐、叠加、物理一致对齐)进行用户研究，结果显示局部对齐技术较全局方法在不同时空操作中的表现更具灵活性。
  • 使用诸如“实时触发”和“表面级别切换”等设计显著改善了用户的协作体验。
  • 用户逐渐适应了叠加技术，但建议对过渡层进行视觉淡化改进。

• 局限性及未来方向:

  • 所有实验设计基于简化的物理设置和控制操作，难以完全反映实际办公空间的复杂性。
  • 局部对齐技术在处理多用户、多表面的场景时可能复杂化，需额外优化以支持更大型协作。
  • 下一步可以尝试将“部分混合现实”扩展为支持更复杂的动态配置，包括虚拟表面的重定位、缩放和旋转以适应更广泛的协作模式。

总结

本文提出了“部分混合现实”概念及其原型系统，通过局部对齐技术解决了远程协作中异质空间的对齐问题，展示了一种灵活和可扩展的协作方式。未来可探索更复杂的混合现实场景及用户界面，为远程混合现实工作提供更多可能性。