VRCopilot：在VR中使用生成式AI模型创作3D布局

视频

DOI

沉浸式创作为用户提供了一个直观的媒介，通过虚拟现实（VR）中的直接操作来创建3D场景。生成式AI的最新进展使得自动创建逼真的3D布局成为可能。然而，目前尚不清楚生成式AI的能力如何在沉浸式创作中用于支持流畅的交互、用户代理和创造力。我们推出了VRCopilot，这是一个混合主动系统，将预训练的生成式AI模型集成到沉浸式创作中，以促进VR中的人机协作创作。VRCopilot呈现多模态交互，以支持与AI的快速原型设计和迭代，以及中间表示（如线框）以增强用户对创建内容的可控性。通过一系列用户研究，我们评估了沉浸式创作中手动、脚手架和自动创建的潜力和挑战。我们发现，使用线框的脚手架创建比自动创建增强了用户代理。我们还发现，通过多模态规范的手动创建提供了最高的创造力和代理感。