DancingBox：一种基于物理代理的轻量级动捕系统用于角色动画

文献标题

DancingBox: A Lightweight MoCap System for Character Animation from Physical Proxies

出版信息

• 主题领域: 使用日常物品进行角色动画的轻量级动作捕捉系统。
• 关键词: 动作捕捉, 角色动画, 生成模型, 包围盒, 物理代理, 木偶戏, 计算机视觉, 动作扩散, 用户研究, 可触摸界面。

背景与问题

• 问题/挑战: 传统的3D角色动画需要专家使用复杂的软件或昂贵的动作捕捉系统。现有基于木偶戏的系统通常依赖定制硬件或仅限于特定的动作类型。
• 意义: 让动作捕捉对初学者更易接触，可以使动画创作更加普及，赋予人们无需专业技能或设备的创意表达能力。
• 动机与相关工作: 之前的研究探索了用于动画的物理代理和生成模型，但受限于硬件要求、动作类型的局限或缺乏通用性。本文通过使用日常物品和单个摄像头进行动作捕捉来解决这些问题。

解决方案

• 提出的方法: DancingBox，一种基于视觉的系统，通过包围盒表示和生成动作模型，将近似的物体动作捕捉并精炼为真实的角色动画。
• 创新点:
  1. 引入了一种使用单个摄像头和日常物品的轻量级动作捕捉系统。
  2. 使用包围盒作为中间表示，连接粗略的代理动作与真实的角色动画。
  3. 利用基于包围盒的生成动作模型生成真实的动画。
  4. 通过将动作捕捉数据集转换为代理动画来合成训练数据。
• 流程与关键技术:
  1. 使用单个摄像头捕捉用户操作物理代理的视频。
  2. 使用视觉基础模型（π3, SAM2, CoTracker）分割并跟踪代理部件。
  3. 用3D包围盒表示代理动作。
  4. 使用包围盒动作编码器和动作扩散模型（MDM）生成真实的角色动画。
  5. 通过用户研究中的复制和创意任务评估系统。

结果

• 具体发现:
  • 系统运行时间：在NVIDIA 4090 GPU上约2分40秒。
  • 用户研究表明，参与者能够在约10–12分钟内复制动作，而使用传统工具估计需要整整一天。
  • 生成的动作被评价为真实且符合用户意图，复制任务成功率为92%。
• 相较基线的优势:
  • 支持任意物体作为代理，仅需单个摄像头。
  • 与之前系统相比，生成的高质量动作突破了动作类型或特定硬件的限制。
  • 不需要标记点、动作捕捉服或校准。
• 实验/评估:
  • 9名参与者进行复制和创意任务的用户研究。
  • 评估指标包括任务完成时间、动作真实性、用户意图匹配度和用户满意度。
  • 参与者使用多样化的代理物品，包括毛绒玩具、香蕉和关节木偶。
• 局限性与未来工作:
  • 由于单目输入，对遮挡敏感。
  • 非实时处理。
  • 由于依赖人类动作数据集，目前仅限于类人动作。
  • 未来工作包括多角色交互、支持非人类角色，以及用户请求的额外功能，如速度控制和与游戏引擎集成。

总结

DancingBox是一种轻量级、基于视觉的动作捕捉系统，使初学者能够使用日常物品和单个摄像头创建真实的角色动画。通过利用包围盒表示和生成动作模型，该系统将粗略的代理动作转化为详细的动画。用户研究展示了其可用性、有效性和创意潜力，参与者成功复制并设计了多样化的动作。尽管系统受遮挡敏感性和非实时处理的限制，但与传统工具相比，它在可访问性和灵活性方面具有显著优势。未来工作旨在扩展其功能，包括多角色交互、非人类动作以及用户请求的功能。