AgentHands：为 XR 空间中智能体对话生成交互式手势

文献标题

AgentHands: Generating Interactive Hand Gestures for Spatially Grounded Agent Conversations in XR

出版信息

• 主题领域: 用于XR对话代理的交互式手势
• 关键词: XR, 手势, 对话代理, 空间定位, LLMs, 伴随语音的手势, 用户参与, 物体交互, 具身代理, 手势分类

背景与问题

• 问题/挑战: 当前XR中的对话代理在空间交流方面表现不足，过度依赖文本或语音，这在空间任务中给用户带来了认知负担。现有系统缺乏多样化、交互性强且情感契合的行为，无法与开放式对话同步。
• 重要性: 解决这一问题可以提升用户在XR环境中的理解力、参与度和任务表现，从而实现更直观的人机交互。
• 动机与相关工作: 之前的XR助手和基于手势的系统多为任务特定或仅限于静态叠加，未能整合动态、同步的手势。人类交流自然地结合手势用于空间参考和互动，这启发了AgentHands的开发。

解决方案

• 提出的方法: AgentHands是一个基于LLM的XR系统，通过为对话代理添加与语音同步的富有表现力的交互式手势，实现空间定位和更具吸引力的互动。
• 创新点:
  1. 基于前期研究提出了一个用于XR空间定位对话的手势和代理属性分类法。
  2. 开发了一个端到端系统，能够生成并渲染与语言响应同步的手势。
  3. 通过用户研究实证验证了该系统在用户参与度和清晰度方面优于仅语音的基线。
• 流程与关键技术:
  • 使用凝视和场景重建对XR环境中的物体进行预注册。
  • 在LLM生成的响应中增加内联GestureEvents，指定手势类型、空间性和时间点。
  • 使用参数化动画引擎实时渲染与语音同步的手势。
  • 基于组合分类法的手势库，分为指示性、象征性和表现性手势。

结果

• 具体发现:
  • AgentHands显著提升了空间理解能力（例如物体和方向识别），在7分制评分中得分为6.50，而基线为4.58。
  • 增强了任务理解和参与度，用户对AgentHands的参与度评分为6.08，而基线为4.58。
  • 提高了指令的记忆性和清晰度，用户对记住响应的难度评分为2.17（AgentHands）对比3.50（基线）。
• 相较基线的优势:
  • 在空间清晰度、任务执行和参与度方面的改进具有统计显著性。
  • 用户反馈手势使指令更易于遵循，警告更显眼。
• 实验/评估:
  • 采用12名参与者的组内实验，完成两个任务：兰花护理和3D打印机操作。
  • 指标包括空间理解、任务清晰度、参与度和情感表达，通过Likert量表调查和SUS评分测量。
  • AgentHands的平均SUS得分为80.6，而基线为70.4。
• 局限性与未来工作:
  • 对物体预注册的依赖限制了其在动态环境中的适应性。
  • 当前手势库为人工整理，未来可探索基于LLM生成的新手势。
  • 评估范围有限，需要更大规模和长期的研究以评估其长期效用和普适性。
  • 有潜力进一步与XR操作系统和API深度集成，以实现更丰富的交互能力。

总结

AgentHands提出了一种新型XR系统，通过同步的交互式手势增强对话代理在空间定位任务中的表现。该系统利用手势分类法和基于LLM的管道，提升了用户参与度、空间理解和任务清晰度。用户研究表明，该系统在空间参考清晰度和用户参与度方面显著优于仅语音的基线。未来工作包括增强场景理解、扩展手势生成以及开展更大规模的评估。AgentHands代表了朝着更具表现力和具身化的XR界面迈出的重要一步。