Roomify：沉浸式虚拟环境的空间锚定风格转换

文献标题

Roomify: Spatially-Grounded Style Transformation for Immersive Virtual Environments

出版信息

• 主题领域: 集成物理和虚拟环境的虚拟现实系统。
• 关键词: 空间感知, 虚拟现实, 混合现实, 沉浸式环境, AI驱动生成, 场景转换, 用户中心设计, 创意原型设计, 功能语义, 几何保留。

背景与问题

• 问题/挑战: 当前的虚拟现实系统在沉浸式体验与空间感知之间难以平衡，往往需要牺牲其中之一。透视解决方案会破坏沉浸感，而完全虚拟的环境则会削弱空间感知和安全性。
• 重要性: 空间感知对于虚拟现实中的安全性和用户体验至关重要，尤其是在家庭环境和专业设计工作流程中。连接物理和虚拟空间能够增强沉浸感和创意应用。
• 动机与相关工作: 现有方法如边界系统、透视方法和场景代理无法无缝整合物理和虚拟环境。它们要么破坏沉浸感，要么缺乏转换的灵活性。Roomify基于空间理解、生成式风格化和AI辅助创作等前期研究，弥补了这些不足。

解决方案

• 提出的方法: Roomify——一个空间锚定的转换系统，能够生成与用户物理房间相匹配的主题虚拟环境，同时保留空间结构和功能语义。
• 创新点:
  1. 一个平衡风格灵活性与几何和功能保留的空间锚定生成管道。
  2. 一个结合混合现实（MR）进行空间锚定和虚拟现实（VR）进行沉浸式预览的跨现实创作工具。
  3. 实证验证显示相比现有方法，Roomify在临场感、空间感知和创意表现力方面有显著提升。
• 流程与关键技术:
  • 场景理解: 使用SLAM3R和SpatialLM处理单目RGB视频，重建房间几何并解析空间语义。
  • 风格提取与映射: 多模态输入生成结构化风格规范，确保功能一致性、风格连贯性和空间对齐。
  • 内容生成: 使用参考引导的工作流生成对象、边界元素和天空盒的风格化资产。
  • 场景组合: 将生成的资产注册到连贯的虚拟环境中，保留空间关系和功能角色。

结果

• 具体发现:
  • Roomify在临场感方面比透视方法提高63%，比完全虚拟基线提高26%。
  • 空间感知显著优于完全虚拟环境。
  • 场景质量评分为5.95/7，设计专业人士对创意支持的评分为6.08/7。
• 相较基线的优势:
  • 将沉浸式转换与空间感知相结合，在临场感和用户体验方面优于透视和完全虚拟条件。
  • 场景质量和创意支持优于AI重新纹理化和文本到3D生成方法。
• 实验/评估:
  • 研究1: 18名VR用户在娱乐和导航任务中对比评估了Roomify、透视方法和完全虚拟基线。
  • 研究2: 8名设计专业人士将Roomify与AI重新纹理化和文本到3D生成方法用于创意原型设计进行比较。
  • 评估指标包括临场感、空间感知、场景质量、创意支持和导航性能。
• 局限性与未来工作:
  • 假设静态环境；无法处理动态交互或实时空间跟踪。
  • 对生成内容的精细控制有限。
  • 评估集中于个人体验；多用户应用尚未探索。

总结

Roomify引入了一种空间锚定的转换系统，将物理房间几何整合到沉浸式虚拟环境中，在风格多样性与空间和功能一致性之间实现了平衡。实证研究表明，与现有虚拟现实方法相比，Roomify在临场感、空间感知和创意表现力方面有显著提升。通过使用户能够将物理空间转换为个性化虚拟环境，Roomify支持从主题娱乐到专业设计原型的多种应用。未来工作将关注动态环境、多用户场景和增强控制机制。