AMUSE：多模态灵感驱动的人工智能与人类合作歌曲创作

研究背景与问题

作者发现了哪些问题或挑战？

1. 多模态启发与创作支持的缺失：

   • 作者指出，歌曲创作往往受到多模态启发（如图像、叙事或音乐）的驱动，但现有的音乐AI系统并未充分支持创作者将这些多模态输入融入创作流程。
   • 当前生成的音乐通常是不可编辑的音频文件，而非可以重新用在迭代创作中的符号化音乐元素（如和弦或旋律）。
   • 大多数符号化音乐生成系统仅基于现有音乐上下文生成建议，缺乏对多模态灵感的支持。

2. 训练数据缺乏：

   • 缺少包含多模态输入与符号化音乐元素对齐的训练数据，阻碍了基于多模态输入的生成模型的开发。

为什么这个问题很重要？

• 灵感转化中的空白： 创作者从多模态灵感中获得启发，但未能将其高效转化为具体的音乐元素，可能限制了创作过程的创新性和效率。
• 创作控制不足： 音乐创作者需要能编辑的、模块化的工具以保持大型成品的创作所有权和灵活性，而不是直接使用不可控的一体化生成结果。

研究动机与相关工作

• 多模态生成系统在艺术创作（如插画、写作）中已有应用，音乐领域也在探索基于文本的音乐生成。
• 然而，大多数音乐生成工具要么输出不可编辑的音频文件，要么缺乏多模态启发整合。
• 本研究填补了符号化音乐生成工具在多模态支持方面的空白，目标是同时支持灵感多样性与创作者迭代控制。

解决方案

作者提出了哪些方法或解决方案？

1. Amuse工具设计：

   • 开发了一个称为Amuse的协作式歌词创作助手，整合用户的多模态（如图像、文本、音频）输入，生成可重复使用的和弦进程（chord progressions）。
   • 包含两个主要功能模块：
     • 和弦生成器（Chord Generator）：从用户输入的多模态内容中提取音乐关键词，并生成符合关键词风格的和弦进程。
     • 和弦转录器（Chord Transcriber）：从音频中转录和弦进程。

2. 生成方法创新：

   • 多模态语言模型生成： 使用多模态的大型语言模型（如GPT-4o）生成与关键词相关的和弦进程。
   • 拒绝采样过滤： 利用基于真实音乐数据训练的单模态模型对LLM生成的和弦进程进行过滤，提高和弦的音乐连贯性和多样性。

该解决方案的创新之处是什么？

• 无对齐训练数据的生成方法： 提出一种无需对齐训练数据的生成方法，结合LLM的泛用性与单模态模型的准确性。
• 多模态与符号化音乐生成的融合： 在现有音乐符号化生成技术基础上，首次探索基于图像、文本、音频等多模态输入的和弦生成。
• 用户引导与透明度： 通过关键词作为中介层，提升生成过程的可解释性和用户控制能力。

实施步骤是什么？使用了哪些关键技术？

1. 用户输入： 用户提供多模态内容（如图像、文本或音频）。
2. 关键词提取： 使用大型语言模型从输入中提取音乐关键词。
3. 和弦生成：
   • 基于关键词，通过GPT-4o生成初步的和弦进程。
   • 使用音符语言模型（基于真实音乐数据训练）对生成结果进行拒绝采样，保留符合音乐分布的和弦进程。
4. 和弦转录： 对音频文件进行转录，将其转换为符号化和弦。

研究成果

取得了哪些具体成果？

1. 技术评估：

   • Amuse生成的和弦进程在多样性、相关性和音乐连贯性方面优于基线方法。
   • 用户研究表明，Amuse能够有效支持从多模态灵感到具体音乐元素的转化。

2. 用户体验：

   • 使用Amuse时，用户感受到更高的控制权和创作主动性。
   • 工具的关键词功能被视为直观且透明，对生成和弦的可解释性有显著贡献。

与现有解决方案相比，它有哪些优势？

• 多模态支持： 直接整合了多模态灵感，而不仅限于音乐上下文。
• 可编辑性和模块化： 提供了用户可控制和灵活应用的符号化音乐元素。
• 无需对齐数据： 无需大规模的多模态-音乐对齐数据，通过方法创新解决了数据稀缺问题。

实验或评估结果是什么？

1. 技术评估：

   • Amuse生成的和弦进程比传统方法更具音乐连贯性（通过Jensen-Shannon Divergence验证）。
   • 在用户倾向性测试中，Amuse生成的和弦对关键词相关性的表现优于基线。

2. 用户研究：

   • 使用Amuse时，用户对创作流程感受更高的自由度和探索性。
   • Amuse的Chord Generator模块更受欢迎，而Chord Transcriber的使用较少，表明实际创作中用户倾向于更加灵活的功能。

局限性与未来方向

1. 工具间脱节： 在用户从Amuse切换到其他工具（如Aria）时，有感到合作不连贯的问题，表明需要进一步整合多模态与上下文条件。
2. 有限的任务覆盖： 当前工具主要支持和弦生成，未覆盖旋律或歌词生成，未来可扩展至其他音乐元素。
3. 场景测试限制：
   • 本研究主要在静态环境中测试，未充分探索实时创作应用情境。
   • 长期用户采用情况尚未评估，未来需探索更加真实和多样化的使用场景。

总的来说，Amuse为人机协作的音乐创作工具提供了新的思路和可能性，其对多模态灵感输入的支持显著提高了创作过程中的自由度和个性化体验。