VidTune：利用生成式音乐和视频缩略图创作视频配乐

文献标题

VidTune: Creating Video Soundtracks with Generative Music and Video-Based Thumbnails

出版信息

• 主题领域: 用生成式人工智能创建视频配乐
• 关键词: 生成音乐、视频编辑、文本生成音乐、音乐可视化、上下文缩略图、可访问性、创意人工智能、音乐多样性、迭代优化、以用户为中心的设计

背景与问题

• 问题/挑战: 当前的文本生成音乐工作流难以满足视频创作者的需求。挑战包括难以设计有效的提示词、生成音轨的审查过程耗时，以及缺乏适合听力有限创作者的可访问工具。
• 重要性: 配乐对于塑造视频叙事和观众体验至关重要。高效、可访问且富有创意的配乐生成工具能够显著提升视频制作工作流。
• 动机与相关工作: 现有系统主要关注从文本提示生成音乐，但缺乏支持探索多样化选项、在上下文中审查音轨以及迭代优化输出的功能。现有工具通常依赖波形或通用缩略图，这对非专业用户或听力受限者来说不足够。本论文通过引入VidTune系统来解决这些问题。

解决方案

• 提出的方法: VidTune是一种交互式系统，结合文本生成音乐模型、上下文缩略图和迭代优化工具生成视频配乐。
• 创新点:
  1. 引入上下文缩略图，以用户视频为背景视觉化总结音乐属性。
  2. 提出提示词扩展算法，从用户输入生成多样化音乐选项。
  3. 提供迭代优化工具，包括自然语言编辑、音轨变体生成和音轨混合。
  4. 设计音乐地图，用于基于相似性探索和组织生成的音轨。
• 流程与关键技术:
  • 提示词建议: VidTune分析视频场景，为音乐生成建议关键词。
  • 提示词扩展: 使用大型多模态模型生成用户提示词的多样化变体。
  • 上下文缩略图: 将音乐属性（如风格、节奏、情绪）映射到视频中的视觉元素。
  • 迭代优化: 用户可通过自然语言指令编辑、变更或混合音轨。
  • 音乐地图: 将音轨投射到基于音频相似性的二维空间中，便于探索和比较。

结果

• 具体发现:
  • VidTune的缩略图在音乐表达（平均评分：4.99 vs. 4.63）和音轨选择辅助（准确率：88.2% vs. 69.8%）方面得分更高。
  • 提示词扩展显著提高了短提示词生成音乐的多样性（如聚类分离度：23.77 vs. 20.27，p < 0.05）。
  • 用户研究表明VidTune降低了时间需求并提升了用户体验（如满意度：6.42 vs. 5.42，p < 0.05）。
• 相较基线的优势:
  • VidTune在帮助用户理解、比较和记忆音轨方面优于基线文本生成音乐界面。
  • 上下文缩略图相比通用缩略图提供了更准确且更易记的音乐表达。
• 实验/评估:
  • 技术评估: 使用1600个判断评估扩展提示词生成音乐的多样性以及音乐与缩略图的对应性。
  • 控制用户研究: 与基线工具进行对比，12名参与者测量认知负担、创意支持和缩略图实用性。
  • 探索性案例研究: 使用6位创作者的自有视频测试VidTune，突出其可访问性和个性化优势。
• 局限性与未来工作:
  • 对人声音轨和细粒度音乐编辑的支持有限。
  • 缩略图与音乐标题偶尔存在不匹配。
  • 未来工作可探索节拍级同步、多模态歌词支持以及个性化推荐。

总结

VidTune是一种生成式人工智能系统，通过结合文本生成音乐模型、上下文缩略图和迭代优化工具，简化视频配乐创建过程。它使用户能够探索多样化的音乐选项、直观比较音轨并高效优化输出。技术评估和用户研究表明，与基线工具相比，VidTune提高了音乐多样性、减少了审查负担并增强了用户体验。通过使音乐更加可视化和可访问，VidTune支持包括听力有限者在内的广泛创作者，并促进更具吸引力和创意的配乐生成过程。