GestuProp：基于协同手势的3D虚拟现实道具生成系统

文献标题

GestuProp: 3D Virtual Reality Prop Generation with Co-Speech Gestures

出版信息

• 研究领域: 基于多模态交互的虚拟现实（VR）对象创建。
• 关键词: 虚拟现实, 3D对象生成, 伴随语音手势, 多模态交互, 生成式人工智能, 用户生成内容, 基于手势的交互, 沉浸式环境, 人机交互, 设计沟通。

背景与问题

• 问题与挑战: 当前VR中的3D对象创建方法（如雕刻或模块化组合）复杂且需要专业技能，限制了普通用户的可访问性。现有的生成式人工智能方法通常依赖文本或草图，这在VR中显得不够自然，且无法充分捕捉用户意图。
• 重要性: 简化VR对象创建可以实现内容生成的民主化，增强用户创造力，并提升在游戏、教育和设计等应用中的参与度。
• 动机与相关研究: 之前的研究探讨了语音和手势等多模态输入在VR任务中的应用，但这些方法主要基于命令，不适用于开放式对象创建。象征性手势能够传达形状和空间关系，但在该领域仍未被充分探索。本文通过聚焦伴随语音手势的方式来解决这一空白，以实现直观的3D对象生成。

解决方案

• 提出的方法: GestuProp是一种VR系统，允许用户通过伴随语音手势生成3D道具，结合手势用于空间约束和语音用于语义细节。
• 创新点:
  1. 引入基于伴随语音手势的3D对象创建管道。
  2. 开发代理模型系统以平衡实时响应性与生成质量。
  3. 提供关于手势与语音协调及其对用户满意度和交互模式影响的洞察。
  4. 探索用户驱动的多模态VR系统设计考虑因素。
• 流程与关键技术:
  1. 对30名参与者进行形成性研究，分析手势与语音交互并提取设计需求。
  2. 设计一个包含四个阶段的系统管道：输入（手势和语音）、映射（手势与语音整合）、代理模型生成和最终3D模型生成。
  3. 实现代理模型以提供实时反馈，并使用稳定扩散（Stable Diffusion）和Turbo-v1.0等AI工具进行分层生成。
  4. 通过对14名参与者的用户研究评估系统，重点关注可用性、手势模式和满意度。

结果

• 具体发现:
  • GestuProp的平均SUS可用性评分为78.0，表明具有良好的可用性。
  • 代理模型生成耗时2–3秒，而最终模型根据复杂性需要7–15秒。
  • 参与者对方向性项目（如枪支、剑）的对象方向表现出高度满意，但对玩具等模糊形状的满意度较低。
• 相较基线的优势: GestuProp提供了一种自然直观的交互方式，与传统3D建模或基于文本的生成系统相比，显著降低了学习成本。
• 实验与评估:
  • 在两个VR环境（中性和科技主题）及七个对象类别（如笔、剑、玩具）中，对14名参与者进行2×7组内实验。
  • 收集了2,352项满意度评分，并对访谈进行了主题分析。
  • 发现手势与语音协调模式（如语义分工、时间序列）显著影响用户体验。
• 局限性与未来工作:
  • 手势词汇有限，仅依赖四种基本手势。
  • AI生成模型在处理IP特定或高度规则化的对象时表现较弱。
  • 环境上下文影响有限，原因在于场景设计过于简单。
  • 样本量较小（14名参与者），限制了结果的普适性；需要更大规模的研究。

总结

GestuProp提出了一种基于伴随语音手势的3D对象创建系统，利用手势实现空间约束，语音提供语义输入。该系统表现出良好的可用性和用户满意度，参与者认可其自然的交互方式和创造潜力。关键发现强调了手势与语音协调的重要性以及用户驱动的设计考虑。尽管手势词汇和AI模型能力存在局限，GestuProp为VR内容创建的民主化以及在游戏、设计和协作环境中的应用奠定了基础。未来工作应扩展手势集、优化AI能力，并探索更丰富的环境上下文。