VUI的身体语言：探索手势增强语音用户界面的交互

随着大型语言模型（LLMs）的进步和智能眼镜等可穿戴智能设备的快速发展，用户通过语音和手势与设备虚拟助手轻松交互的机会日益增加。尽管语音用户界面（VUIs）已被广泛研究，但能够完全理解用户周围环境和手势的全身手势在VUI中的潜在用途仍相对未被探索。在这一项使用Wizard-of-Oz方法的两阶段研究中，我们旨在调查手势在VUI交互中的作用并探索其设计空间。在对六名参与者进行的初步探索性用户研究中，我们识别出VUI手势的影响因素，并建立了初步设计空间。在第二阶段，我们对12名参与者进行了用户研究，以验证和细化我们的初步发现。我们的结果表明，用户对在手势交互中采用多模态VUIs持开放态度，特别是在语音采集质量较差的场景中。该研究还强调了增强多模态VUI交互的三类关键手势功能：上下文参考、替代输入和流程控制。最后，我们提出了多模态VUI手势的设计空间及相关演示，以启发未来将多模态VUIs与手势相结合的设计。