HandAvatar：通过手部实现非人形虚拟化身

文献标题

HandAvatar: Embodying Non-Humanoid Virtual Avatars through Hands

文献信息

• 主题领域: 人机交互、虚拟现实环境中的非人形虚拟角色控制
• 关键词: 虚拟化身, 身体体验, 混合现实, 手势交互, 虚拟现实, 动画创作, 身体映射, 用户体验, 环境交互

研究背景与问题

• 发现的问题或挑战:

  1. 用户在虚拟现实中控制和操作非人形化身（如蜘蛛、鳄鱼等）的能力有限。传统方法主要依赖用户的全身动作，或者通过手柄操控，但这些方法受限于身体结构差异和自由度限制，难以提供精确实时控制。
  2. 当前的非人形化身映射方法通常需要大规模的身体动作，这不仅物理负担高，也可能导致控制效率低。

• 研究的重要性:

  1. 非人形化身交互拓宽了虚拟现实环境的用户体验和操作可能性，能够激发用户的创造力和想象力。
  2. 提高非人形化身操控精确度和用户舒适度对于动画制作、教育娱乐以及虚拟社交具有重要意义。

• 研究动机与相关工作:

  1. 身体映射技术通常用于人形化身的操控，而非人形化身仍缺乏优化的解决方案。
  2. 数字操偶技术和手势交互较为直接便捷，但当前主要用于动画创作，且缺乏针对非人形角色的精细映射设计。
  3. 文献综述指出手部高灵活性与结构复杂性有助于非人形化身的操控，但需优化手部到化身的映射策略。

解决方案

• 提出的方法: 提出了一种新颖的 "HandAvatar" 技术，该技术通过用户的双手来操控非人形化身，同时优化手部关节与化身关键关节之间的映射。具体方法包括用户研究、自动化映射算法设计及多任务评估。

• 创新之处:

  1. 优化算法: 基于优化的手到化身映射算法，兼顾控制精度、结构相似性和用户舒适性多方面目标。
  2. 用户指导: 基于用户研究的数据驱动方法，挖掘用户在设计手到化身映射时的偏好。
  3. 手部灵活性利用: 探索通过手部操控替代全身动作执行复杂非人形动作。

• 实施步骤与关键技术:

  1. 用户研究：通过观测用户为若干非人形化身设计手势映射，并分析用户投票得出的最佳映射偏好。
  2. 算法设计：基于用户研究结果，设计优化算法，使用手部生物力学知识与虚拟化身参数作为输入。
  3. 多任务评估：在静态造型、动态动画制作和创造性探索任务中评估HandAvatar的效果，并与现有方法比较。

研究成果

• 具体成果:

  1. HandAvatar技术显著提高了非人形化身的控制精度，与基于全身的方法相比，静态姿势偏差减少40%，动态动画的关节偏差减少25%。
  2. 手到化身的自动优化映射在控制、舒适性和相似性三个维度上均表现优异。
  3. 用户调查显示，HandAvatar的操控物理负担更低，同时控制体验更精细。

• 与现有解决方案的比较:

  1. 相较 KinÊtre 等全身控制方法，HandAvatar显著降低了用户的物理负担并提高了控制精度。
  2. 在结构复杂的体型化身（如蜘蛛）上，HandAvatar显示了显著的优势。

• 实验或评估结果:

  1. 手动映射 VS 算法生成：HandAvatar生成的优化映射平均得分（5.07/7）优于用户设计映射（4.49/7）。
  2. 应用场景演示表明，HandAvatar在虚拟社交互动、3D动画创作和场景设计中的潜力。

• 局限性与未来方向:

  1. 当前仅支持手部关节与化身关键节点的一对一映射，未来可以结合一对多映射或更复杂的自由度映射方法。
  2. 当前优化算法需进一步改进以支持多角色场景以及复杂遮挡条件下的跟踪场景。
  3. 配合环境反馈的交互方式和体感设计正待深入探索。