SoundStager：视频故事驱动GenAI声音场景的交互式设计

文献标题

SoundStager: Interactive Design of Story-Driven GenAI Soundscapes for Video

出版信息

• 主题领域: 基于人工智能的视频叙事声音设计
• 关键词: 声音设计, 生成式人工智能, 视频编辑, 声音景观, 文本到音效, 多模态人工智能, 叙事分析, 创意工具, 用户控制, 迭代优化

背景与问题

• 问题/挑战: 为视频创作有效的声音景观是一项复杂且耗时的任务，需要专业技能来搜集、分层和混合声音以符合叙事意图。现有的人工智能工具（如文本到音效和视频到音频系统）通常缺乏用户控制，输出的音频是预混合的，并且未能充分考虑叙事背景。
• 重要性: 声音景观对叙事至关重要，能够增强情绪、氛围和观众的参与感。让非专业人士也能轻松进行声音设计，可以普及高质量的视频制作，并减少对库存音频的依赖。
• 动机与相关工作: 之前的研究包括文本到音频和视频到音频的生成工具，但这些工具通常限制了迭代优化和用户控制。关于声音设计工作流程和分层原则的研究表明，需要一种能够将叙事分析与灵活、可编辑声音景观相结合的工具。

解决方案

• 提出的方法: SoundStager 是一款人工智能辅助工具，通过分析叙事和视觉特征生成故事驱动的声音景观，提供可编辑的声音层，并通过对话式和手动控制支持迭代优化。
• 创新点:
  1. 将叙事驱动的视频分析与生成式声音设计相结合。
  2. 引入按基调音、信号音、标志音和原型声音分类的可编辑声音层。
  3. 支持通过聊天式和手动控制进行迭代优化。
  4. 将声音生成、混音和可视化集成到一个工作流程中。
• 流程与关键技术:
  • 视频分析: 对视频进行分层分割（如剪辑、场景和叙事主题），捕获情绪基调和角色动作等元数据。
  • 声音推荐: 为四种声音景观类别生成声音提示，与叙事和视觉线索对齐。
  • 混音推荐: 根据场景上下文和情绪基调提供初始混音参数（如响度、声像、渐变）。
  • 声音生成: 使用文本到音效模型（Sketch2Sound）生成多种声音变体供用户选择。
  • 交互界面: 结合基于时间线的编辑、聊天引导的迭代和可视化视图（Stem、Mix、Focus）实现灵活控制。

结果

• 具体发现:
  • 与基线工具相比，SoundStager 显著提高了用户对控制（M=4.58 vs. 2.92, p=0.006）、叙事一致性（M=4.50 vs. 3.33, p=0.004）和效率（M=4.50 vs. 2.83, p=0.011）的评分。
  • 用户报告对人工智能输出的信任度更高（M=3.92 vs. 3.08, p=0.023），并更倾向于在未来项目中使用 SoundStager（M=4.67 vs. 3.50, p=0.006）。
• 相较基线的优势:
  • 通过将声音生成、混音和编辑集成到一个平台中简化了工作流程。
  • 通过可编辑层、基于场景的选择和声音变体提供更大的创意控制。
  • 提供与叙事意图一致的上下文感知声音推荐。
• 实验/评估:
  • 与 6 位专业声音设计师和 6 位新手视频创作者的形成性研究为设计提供了信息。
  • 在 12 位视频创作者中进行的组内实验比较了 SoundStager 和基线工具集（Gemini、Adobe Firefly、Premiere Pro）。
  • 评价指标包括技术接受模型（TAM）评分、设计指南遵循度和定性反馈。
• 局限性与未来工作:
  • 在细粒度时间对齐和抽象视频类型上存在困难。
  • 对于快速剪辑视频的时间线可能显得过于复杂。
  • 混音能力相较专业工具仍有限。
  • 未来方向包括可编辑的声音提示、声音到声音生成、调色板式预览、增强混音支持以及与现有编辑器的集成。

总结

SoundStager 是一款用于创建故事驱动声音景观的人工智能辅助工具，结合了叙事分析、生成式声音设计以及通过聊天和手动控制的迭代优化。与基线工具相比，它显著提升了用户控制、效率和叙事一致性。尽管在处理抽象内容、细粒度对齐和高级混音方面仍存在挑战，未来工作将专注于增强用户定制化、声音变体和专业集成，使声音设计更加普及并赋予创作者更多创意能力。