协同中的智能体:关于将 AI 带上舞台的实践案例研究
作者
近年来,越来越多的音乐表演伴随着生成式智能体进行。人造嗓音、神经网络合成音色以及模仿或响应人类表演者的智能体正在迅速占领舞台。与此同时,人机交互(HCI)和音乐技术领域的从业者呼吁开展基于实践的研究,通过检查这些发展在音乐创作真实世界情境中的应用来识别其最显著的功能性。为推进人机协作音乐创作的基于实践的研究,我们提供了与当地顶级爵士音乐家长达两个月的协作设计纵向记录,涵盖早期探索、 emerging goals 的识别以及排练。我们的工作以一场面向 97 位现场观众的公开音乐会达到高潮,特色是与 AI 智能体即兴创作的三首曲目。借用包括 vampnet、somax 和 jambot 在内的系统,每首曲目都根据表演者的风格优势以及每个系统的独特优势和局限性进行了定制。通过这个 extensive 的迭代过程,我们发现了广泛的设计干预范围,从为 GenAI 系统增加吉他效果器以将其置于基于循环的创意实践中,到使音乐家能够通过可视化预测来 anticipate AI 的响应。音乐家倾向于抑制生成系统的狂野特性,而一些观众则期望人机合作表演尽可能地赋予智能体自主性和自发性。在音乐会后的反思中,音乐家们还表达了希望更多练习的愿望,这反过来可能使他们能够让系统的自主性闪耀。他们还鼓励未来的音乐家更深入地接受不确定性。总体而言,我们看到了这种音乐家-AI 现场即兴创作媒介正在形成的独特实践。
研究问题 / 现实痛点
这篇论文在当前问题库中对应的问题线索。
- 83%
现场音乐智能体的设计空间
CHI '26· 音乐创作与声音设计工具 +2
- 83%
面向艺术与创意的生成式AI交互设计:系统综述与分类
DIS '25· 生成式AI(文本、图像、音乐、视频) +2
- 80%
AI作为社交粘合剂:揭示深度生成AI在社交音乐创作中的角色
CHI '21· 生成式AI(文本、图像、音乐、视频) +1
- 80%
SynthScribe:用于合成器声音检索与探索的深度多模态工具
IUI '24· 生成式AI(文本、图像、音乐、视频) +2
- 67%
声音设计师-生成式AI互动:为专业声音设计师设计创意支持工具
CHI '24· 生成式AI(文本、图像、音乐、视频) +2
- 60%
以沉默的方式:超越声音的AI与即兴音乐家之间的交流
CHI '19· 生成式AI(文本、图像、音乐、视频) +1
- 60%
音乐记谱的挑战及互动界面的潜力
CHI '24· 音乐创作与声音设计工具 +1
- 60%
理解基于提示的音乐生成人工智能的潜力和局限性
CHI '25· 生成式AI(文本、图像、音乐、视频) +1
- 60%
expressive Communication:评估音乐创作中生成模型和引导界面的发展
IUI '22· 生成式AI(文本、图像、音乐、视频) +1
基于研究子主题与职业分类的 Jaccard 相似度(≥60%)