人们如何提示生成式AI创建交互式VR场景

生成式AI工具可以让人们通过自然语言提示创建虚拟环境和场景。然而，人们将如何构建此类提示尚不清楚——特别是在他们所设计的虚拟环境中时。例如，一个人可能会一边指向某个位置一边说“把这把椅子放在这里”。如果这类语言和具身特征在人们的提示中很常见，我们就需要调整模型以适应它们。本研究呈现了一项22名参与者的Wizard of Oz启发式研究，研究了人们在口头提示这类编程代理创建交互式VR场景时的隐含期望。我们的研究结果表明，当人们提示代理时，他们对这些代理有以下几个隐含期望：(1)代理应该对环境有具身知识；(2)代理应该理解用户的具身提示；(3)代理应该记住场景和对话的先前状态；(4)代理应该对场景中的物体有常识性理解。此外，我们发现参与者在VR环境中提示（Situated，即in situ）与从外部查看VR环境时（ex situ）的提示方式不同。为了探索这些经验如何应用，我们设计并构建了Ostaad，一个允许非程序员设计他们所居住的交互式VR体验的对话式编程代理。基于这些探索，我们概述了创建VR环境的对话式编程代理的新机遇和挑战。