MoSound：动态图形生成声音设计的交互工具

文献标题

MoSound: An Interactive Tool for Generative Sound Design in Motion Graphics

出版信息

• 主题领域: 用于运动图形的生成式声音设计
• 关键词: 运动图形、声音设计、生成式人工智能、运动到声音映射、交互工具、声音合成、事件检测、用户研究、运动追踪、创意工作流

背景与问题

• 问题/挑战: 现有的运动图形工具主要关注视觉设计，而忽略了声音设计这一关键部分，而声音设计对于增强运动图形的效果至关重要。当前的生成式声音技术缺乏对视觉事件的精确控制和同步性，因此不适用于抽象的运动图形。
• 重要性: 声音设计能够提升运动图形的情感冲击力、记忆性和整体质量。然而，创建同步且富有表现力的声音效果过程繁琐且需要专业技能，使得初学者难以入门。
• 动机与相关工作: 以往的运动图形工具主要集中于视觉方面，而声音设计工具（如Foley和生成式AI）缺乏运动图形所需的时间精度和灵活性。MoSound通过将运动驱动的声音合成与用户控制相结合，填补了这一空白。

解决方案

• 提出的方法: MoSound是一种交互式系统，结合视觉事件检测、运动到声音映射和生成式声音合成，为运动图形创建同步的声音效果。
• 创新点:
  1. 提供一种“人机协同”的工作流，将自动化与用户控制相结合，用于运动图形中的声音设计。
  2. 通过运动到声音映射，将视觉事件与生成式声音效果对齐。
  3. 用户研究表明，MoSound对初学者友好，同时为专家提供了原型设计工具。
• 流程与关键技术:
  • 上传运动图形视频。
  • 使用视觉语言模型（VLM）自动检测视觉事件。
  • 将运动特征（如位置、速度）映射到声音属性（如音量、声像），生成指导声音。
  • 使用Sketch2Sound基于指导声音和文本描述进行生成式声音合成。
  • 允许用户优化事件、调整映射并创作分层音轨。

结果

• 具体发现:
  • 事件检测每秒视频耗时约5秒；运动追踪每秒视频耗时约9秒；声音合成每秒视频生成四个候选声音耗时约10秒。
  • 指导声音与最终声音的中位起始偏差：0.032秒；包络相关性：0.536 ± 0.332；声像相关性：0.731 ± 0.191。
  • VLM生成事件的语义相似度：0.505 ± 0.141；时间IoU：0.337 ± 0.128；中心对齐误差：0.660 ± 0.247秒。
• 相较基线的优势:
  • 在为抽象运动图形生成连贯且同步的声音效果方面，优于现有的生成式声音技术（如FoleyCrafter、MMAudio）。
  • 提供自动事件检测和运动驱动的声音合成，这是竞争方法所缺乏的。
• 实验/评估:
  • 用户研究包括7名参与者（3名专家，4名初学者）：为教程视频创建声音效果平均耗时9分钟，为自由选择视频平均耗时21分钟。
  • 专家估计MoSound将短片声音设计时间从30分钟缩短至5–10分钟。
  • 定量的Likert量表反馈显示用户对声音质量、运动追踪和同步性满意。
• 局限性与未来工作:
  • 对连续纹理和环境层支持有限。
  • 缺乏分层、混音和时间线精度的细粒度控制。
  • 事件检测在语义上有意义，但时间上较为粗糙。
  • 未来工作包括更丰富的运动参数、多模态输入以及与专业工作流的更好集成。

总结

MoSound是一种交互式工具，通过结合视觉事件检测、运动到声音映射和生成式声音合成，自动化并增强了运动图形的声音设计。它降低了初学者的入门门槛，同时为专家提供了原型设计工具。用户研究和评估证明了其在创建同步、高质量声音效果方面的有效性，但在分层、连续纹理和专业级控制方面仍需改进。MoSound在AI辅助自动化与创意工作流之间架起了桥梁，为生成式声音设计的未来发展提供了基础。