GesPrompt：利用协同言语手势增强基于LLM的虚拟现实交互

基于大型语言模型（LLM）的副驾驶在扩展现实（XR）应用中展现出巨大潜力。然而，用户在向副驾驶描述3D环境时面临挑战，因为仅通过文本或语音传达时空信息非常复杂。为了解决这一问题，我们推出了GesPrompt，这是一种多模态XR界面，将协同言语手势与语音相结合，允许最终用户在XR环境中更自然、更准确地与基于LLM的副驾驶进行交流。通过整合手势， GesPrompt从协同言语手势中提取时空参考，减少了对精确文本提示的需求，并最大程度降低了最终用户的认知负荷。我们的贡献包括：(1) 在XR环境中整合手势和语音输入的工作流程，(2) 实现该工作流的VR系统原型，以及(3) 证明其在改善VR环境中用户交流有效性的用户研究。