你能把这些移到那边吗？探索基于大语言模型的VR移动器以支持自然多物体操作

DOI

在我们的日常生活中，我们自然地使用语言和手势来传达空间操作物体的指令。将这种交互形式转化为虚拟现实（VR）中的物体操作是有益的。我们提出了VR Mover，一种基于大语言模型的多模态接口，可以理解并解读用户的语音指令结合手势，以支持物体操作。用户只需通过指向和说话，即可命令大语言模型操作物体，无需结构化输入。与经典接口相比，我们的用户研究表明，VR Mover增强了用户可用性、整体体验和多物体操作性能，同时减少了工作量和手臂疲劳。用户更倾向于在广泛移动中使用所提出的自然界面，并可补充性地切换到 Gizmo 或虚拟手进行精细调整。这些发现有望为未来基于大语言模型的物体操作接口提供设计启示，突显在VR环境中实现更直观、高效用户交互的潜力。