通过共同设计探索实践中音乐家在共同创造人工智能中的需求

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 尽管生成式AI音乐技术取得了显著进展，其在音乐创作中被广泛用作协作工具，但目前关于实际音乐家深度参与设计过程的研究有限。大部分研究只是在工具开发完成后邀请音乐家参与，而非在设计过程中全面融入他们的需求。
  • 人工智能研究者可能因自身偏见或对音乐实践的有限理解，开发出不符合音乐家实际需求的工具。这种问题在科技研发中十分常见。

• 为什么这个问题很重要？

  • 音乐创作是一种高度复杂且人性化的实践，通常需要多年才能完全掌握。将实际音乐家的经验融入到生成式AI工具的设计过程中，可以确保工具真正满足其需求，避免设计与需求之间的错位，同时避免对音乐创作文化造成负面影响。

• 研究动机与相关工作

  • 本研究通过协同设计(co-design)方法，让实践中的音乐家参与到AI音乐工具的开发中，旨在更好地理解他们对于生成式工具的需求，同时探索AI如何嵌入其创作流程。以往的一些研究也强调了用户体验、透明性和可控性的重要性，但大部分集中于工具评估，而非开发早期阶段的用户参与。

解决方案

• 作者提出了哪些方法或解决方案？

  • 作者采用协同设计方法，以音乐家需求为核心设计了一款音乐变体工具。这种方法包括早期洞察、功能定义以及生态系统评价等环节，全过程融入音乐家的反馈。
  • 设计思想从音乐家实际操作出发，强调工具对于创作过程控制权的保留，并将工具定位为辅助而非协作伙伴。

• 该解决方案的创新之处是什么？

  • 通过深度参与设计过程的协同设计方式，本研究不仅开发了一款音乐工具，还挖掘了音乐家在创意实践中的深层需求。这些需求包括对所有创意过程的所有权、直观控制选项以及对应不同音乐背景的个性化功能。
  • 提出了应在生成式AI工具中桥接传统音乐术语与机器语言的理念，解决音乐家可能对技术术语的理解障碍。

• 实施步骤是什么？使用了哪些关键技术？

  • 第一阶段：通过第一轮工作坊理解音乐家的创作流程以及对于AI协作的态度，明确设计方向。
  • 第二阶段：开发音乐变体工具的原型，举办工作坊并收集设计建议。
  • 第三阶段：将工具送至音乐家的生态环境中进行两周的实验，并通过反馈完善工具设计。
  • 技术上使用MusicTransformer和MusicBERT模型，通过专用的编码和遮掩功能实现音乐片段的变体生成。优化后的工具允许用户根据自己的需要选择具体的变体属性，并调整变体的复杂程度。

研究成果

• 取得了哪些具体成果？

  • 实验和生态评价表明这款工具能够在音乐创作的构思阶段为音乐家提供灵感，且不会干扰其对创作过程的整体控制。
  • 工具得到了实践音乐家的正面评价，部分音乐家希望将其纳入日常创作工作流。

• 与现有解决方案相比，它有哪些优势？

  • 与完全自动化生成的音乐工具不同，该工具通过“变体”形式保留了用户的创作主动权，而非替代或夺走音乐家的创作主体性。
  • 融入用户可控性设计，使得工具的生成过程能够更直接地满足不同音乐家的需求。

• 实验或评估结果是什么？

  • 生态实验发现，音乐家对工具的主要应用场景集中于早期构思阶段，工具能够提供意料之外的灵感点。音乐家通过对工具生成内容的选择与修正，依然主导了创作过程。
  • 收集到的反馈对提升模型功能和开发下一阶段的插件化版本提供了明确指导。

• 局限性与未来方向

  • 局限性：研究中年龄偏大的音乐家代表性不足，可能未抓住其独特需求。工具只支持有限的变体类型，还未实现与主流音乐工作站（DAW）的集成。
  • 未来方向：计划创建工具的插件版本，融入主流DAW以方便实际音乐创作。同时关注扩展工具的变体功能，以支持更复杂的音乐创作需求。

通过综合协同设计、有针对性的技术优化以及深入的生态评估，本研究探索了音乐家需求和生成式AI工具设计的契合点，为未来AI音乐创作工具的开发提供了重要参考。