EchoLadder：渐进式 AI 辅助沉浸式 VR 场景设计

DOI

混合现实平台允许用户创建虚拟环境，但新手用户在空间设计的构思和执行方面存在困难。虽然现有的 AI 模型可以根据用户提示自动生成场景，但缺乏交互控制限制了其可迭代引导输出的能力。本研究提出 EchoLadder，一种利用大视觉语言模型（LVLM）支持 VR 中交互式场景修改的新型人机协作流程。EchoLadder 接受用户在不同程度抽象和空间特定性的口头指令，在渐进式设计过程中生成具体的设计建议。用户可以通过切换控制自动应用、重新生成和撤回建议。我们的消融研究展示了流程各组件的有效性。我们的用户研究发现，与不展示建议的端到端生成相比，EchoLadder 更好地支持了用户在空间设计中的创造力。我们还贡献了 AI 辅助下用户渐进式设计策略的洞见，为未来系统提供了设计启示。