SpaceBlender：通过生成式3D场景融合创建富上下文协作空间

视频

DOI

人们对使用生成式AI为虚拟现实应用创建3D空间的兴趣日益增加。然而，当前的模型产生的是人工环境，难以支持受益于融入用户物理背景的协作任务。为了生成支持VR远程临在的环境，我们引入了SpaceBlender，这是一个利用生成式AI技术将用户物理周围环境融合到统一虚拟空间的新管道。该管道通过由深度估计、网格对齐和扩散引导的空间补全组成的迭代过程，将用户提供的2D图像转换为富上下文的3D环境，并结合几何先验和自适应文本提示进行引导。在一项初步的受试者内研究中，20名参与者两人一组在VR中进行协作亲和图任务，我们将SpaceBlender与通用虚拟环境和最先进的场景生成框架进行了比较，评估其创建适合协作的虚拟空间的能力。参与者赞赏SpaceBlender提供的增强熟悉感和上下文，但也注意到生成环境的复杂性可能会分散任务注意力。根据参与者反馈，我们提出了改进管道的方向，并讨论了不同场景下融合空间的价值和设计。