SketchDynamics：探索自由形式草图在动画生成中的动态意图表达

文献标题

SketchDynamics: Exploring Free-Form Sketches for Dynamic Intent Expression in Animation Generation

出版信息

• 主题领域: 以自由形式的草图作为动画生成中动态意图表达的媒介。
• 关键词: 自由形式草图, 动画生成, 视觉–语言模型, 动态意图, 动态图形, 分镜, 用户研究, 澄清提示, 精细化提示, 人机协作。

背景与问题

• 问题/挑战: 现有系统将草图限制在预定义的形式或命令中，限制了其在动态意图表达中的表现力。这些系统未能充分利用自由形式草图在动画创作中的灵活性和模糊性。
• 意义: 自由形式草图直观且易于使用，使其成为非专业人士表达动画创意的理想媒介。解决其局限性可以普及动画创作并改善人机协作。
• 动机与相关研究: 先前研究探讨了基于草图的动画创作，但通常依赖于固定的映射或受限的格式。视觉–语言模型（VLMs）为解释抽象草图提供了新的可能性，但其在动态内容创作中的应用尚未被充分探索。本文基于这些进展，研究自由形式草图如何驱动动画工作流。

解决方案

• 提出的方法: SketchDynamics系统使用自由形式的草图分镜生成动态图形，并通过澄清提示和精细化提示支持迭代用户交互。
• 创新点:
  1. 提出一种以草图作为开放式提示的范式，利用模糊性、VLM的解释能力以及用户干预来塑造动态内容。
  2. 引入澄清提示以解决草图的模糊性，并通过精细化提示进行生成后迭代编辑。
  3. 通过三阶段用户研究验证该方法的有效性，证明其支持多样化草图并能够精确表达动态意图。
• 流程与关键技术:
  • 第1阶段: 用户创建自由形式的草图分镜，由VLM解释生成动态图形。
  • 第2阶段: 澄清提示通过轻量级用户交互（如确认、多选、数值输入）解决草图模糊性。
  • 第3阶段: 精细化提示允许用户直接通过在关键帧上绘制草图或提供文本提示编辑生成的视频，实现局部调整。

结果

• 具体发现:
  • 第1阶段: 24次尝试展现了多样化的草图策略，但也暴露了意图与输出之间的模糊性和不一致问题。
  • 第2阶段: 在24个任务中使用了87次澄清提示，改善了19个案例的意图与输出对齐，减少了误解。
  • 第3阶段: 在12个视频中进行了55次精细化操作，用户平均每个任务执行4.6次精细化编辑，支持高效的局部调整。
• 相较基线的优势:
  • 澄清提示减少了模糊性，改善了草图与动画之间的对齐。
  • 精细化提示支持迭代局部编辑，避免了重新绘制整个分镜的低效问题。
  • 用户报告与单次生成工作流相比，系统在对齐性、控制力和易用性方面表现更佳。
• 实验/评估:
  • 三阶段用户研究，24名参与者（每阶段8人），任务包括创建解释型动画。
  • 评估指标包括用户评分（对齐性、易用性、流程、控制力、努力程度、探索性）以及定性反馈。
  • 测试了多样化的动画意图，包括运动轨迹、变换和符号标注。
• 局限性与未来工作:
  • 参与者群体同质化（大学生）限制了研究的普适性。
  • 缺乏草图绘制过程中的实时反馈。
  • 依赖通用型VLMs，可能无法完全捕捉动画特定的细微差别。
  • 当前范围仅限于短动态图形；未来工作可探索更长或更复杂的动画，并扩展至三维动态场景。

总结

SketchDynamics提出了一种利用自由形式草图表达动态意图的动画生成新方法。通过整合澄清提示和精细化提示，该系统解决了草图模糊性问题，并支持用户引导的迭代动画生成。三阶段用户研究验证了系统的有效性，显示出与传统工作流相比更高的对齐性、控制力和创意探索能力。尽管目前仅限于短动态图形且受限于现有VLM能力，该方法展现了普及动画创作和促进人机协作的巨大潜力。未来工作可扩展至更复杂的动画及其他动态内容领域。