PoseVEC：使用视觉编程与演示创作自适应姿态感知效果

文献标题

PoseVEC: Authoring Adaptive Pose-aware Effects using Visual Programming and Demonstrations

文献信息

• 主题领域: 人体姿态识别与动态效果生成
• 关键词: Visual Effects, Motion Graphics, Pose Recognition, Programming by Demonstration, Visual Programming

研究背景与问题

• 问题或挑战:

  • 当前的动态效果生成（特别是基于人体姿态的效果）存在技术门槛，尤其对于非技术用户更是困难。
  • 使用关键帧方法生成的效果难以适应不同的视频，无法重用，灵活性低。
  • 编程方法需要较高的技术能力，不适合非技术设计师操作。

• 重要性:

  • 基于人体姿态的视觉效果，例如增强现实（AR）滤镜和运动教程正在变得越来越流行，涉及跨越视频编辑、运动指导及个性化动态内容制作的重要应用。

• 研究动机与相关工作:

  • 尽管已有工具（如Lens Studio, Spark AR等）支持动态效果设计，但它们需要显著的编程技能。
  • 现有工作（如YouMove, PoseTween等）虽然先进，但仍存在降低开发复杂性、提高使用者易用性的需求。

解决方案

• 方法或解决方案:

  • 提出了PoseVEC，一个基于视觉编程和通过示范编程（Programming by Demonstration，PbD）创建人体姿态动态效果的工具。
  • 使用节点图模型整合姿态识别、动画设计和渲染流程。
  • 提供实时交互的用户界面，使用户可以通过与视频画布交互直接定义姿态相关配置。

• 创新之处:

  • 结合“视觉编程”和“通过示范编程”，通过拖拽操作和节点连接，简化非技术用户操作的学习曲线。
  • 引入“Pose Recognizer Nodes”等特定设计减少了编写低级姿态计算逻辑的需求。
  • 支持基于单次姿态嵌入的机器学习模型（Pr-VIPE）进行实时姿态匹配，适配多个视角和动作变化。

• 实施步骤与技术细节:

  1. 姿态识别:
     • 用户可以通过拖动视频时间轴选择关键姿态，并通过点击添加对应的“姿态识别节点”。
     • 使用 Pr-VIPE 模型进行姿态匹配，并通过阈值调节相似度。
  2. 动画设计:
     • 通过数据节点（如关节角度、距离数据）支持姿态特定的动画参数生成。
     • 使用“渲染节点”实现如文本、GIF动画、标题锚点等动态效果。
  3. 效果渲染:
     • 支持逻辑节点控制动画的触发条件（如按时间或序列触发）。
  4. 测试与优化:
     • 提供实时的节点数据流可视化，便于用户理解和调试整个效果流程。

研究成果

• 具体成果:

  • 开发了PoseVEC工具，使用户能够高效地创建可复用的基于姿态的动态效果模板。
  • 提供组合“视觉编程+视频交互”的工作流模型，显著降低了动态效果制作的技术门槛。

• 与现有解决方案的优势:

  • 用户无需编写代码，就能完成从姿态触发到动态效果的完整流程。
  • 创建的动态效果具有复用性，可以轻松适配到新的视频或实时摄像头输入。
  • 可视化调试功能加速了用户设计效果的反馈与优化速度。

• 实验或评估结果:

  • 用户评估:
    • 通过第一时间使用研究和示范实例研究，12位参与者（技术背景不同）均成功创建了独特的姿态动态效果。
    • 约67%的参与者表示会更倾向于使用PoseVEC而非现有的工具。
    • 平均用户评分显示系统具有良好的可用性（平均4.33分/5分）与表现力（超过4.42分）。
  • 实例验证:
    • 成功复现了三个复杂用例，包括互动运动教程、篮球动作视觉同步和运动文本效果。

• 局限性与未来方向:

  1. 复杂效果支持不足:
     • 当前以单人姿态为主，难以处理多人互动或复杂背景效果。
  2. UI与动画支持改进:
     • 用户界面设计尚需完善，例如增加更多可视指引、调整操作灵活性等。
  3. 其他方向探索:
     • 开发多模态感知工具（如声音或手势），并扩展到深度感知和多个场景。

结论

PoseVEC提供了一种面向普通设计者友好的创新方式，简化了基于人体姿态的动态视觉效果的创作与复用过程，在运动教学、剪辑及AR内容开发等领域具有广泛潜力。未来的研究可进一步扩展应用模型，完善用户界面与复杂效果支持能力。