戴上耳机前先插上吉他：与专业音乐家共同设计混合现实协作应用

文献标题

Plug the Guitar In Before You Put the Headset On: Co-designing a Mixed Reality Collaborative Application with Professional Musicians

出版信息

• 主题领域: 专业音乐协作的混合现实（MR）应用
• 关键词: 混合现实、网络音乐表演、共同设计、专业音乐家、音频优先设计、非语言交流、空间定制、协作系统、沉浸式技术、音乐技术

背景与问题

• 问题/挑战: 当前的混合现实系统优先考虑视觉沉浸感，并主要针对基于办公室的协作设计，未能满足专业音乐协作的独特需求，例如实时同步、高保真音频和非语言交流。
• 重要性: 解决这些缺陷对于使地理上分散的音乐家能够有效协作至关重要，同时保持面对面音乐协作的创造性和专业标准。
• 动机与相关工作: 虽然网络音乐表演（NMP）系统如 JackTrip 和 LoLa 已实现超低延迟音频传输，但它们缺乏沉浸式和社交维度。混合现实技术提供了潜在解决方案，但现有研究主要关注技术可行性或小规模评估，而未系统性地解决专业音乐家的需求。

解决方案

• 提出的方法: 采用共同设计方法，邀请24位专业音乐家参与，以确定混合现实音乐协作系统的设计需求。
• 创新点:
  1. 基于专业音乐家输入的实证设计需求，用于混合现实音乐协作系统。
  2. 包含动手体验、概念设计和共识构建的三阶段共同设计方法。
  3. 提出专业创意协作对优先级的需求与办公室协作型混合现实应用的不同之处。
• 流程与关键技术:
  1. 第一阶段: 通过混合现实技术体验基础，帮助音乐家熟悉头戴显示设备（HMD）和耳机在协作表演中的使用。
  2. 第二阶段: 个人创意构思与草图设计，设想不受当前技术限制的理想混合现实系统。
  3. 第三阶段: 协作收敛，协商并优先考虑共同设计需求。

结果

• 具体发现:
  • 五项一致需求：音频优先工作流程、即插即用的简便性、个性化音频控制、空间布局定制以及支持非语言交流。
  • 几乎一致的需求：实时语音支持、立体声混音优先。
  • 高共识需求：逼真的虚拟形象表示、配置预设、离场协调以及录音/回放功能。
• 相较基准的优势: 挑战混合现实系统的视觉优先范式，强调音频和非语言交流的优先性，与专业音乐家的工作流程和创作需求保持一致。
• 实验/评估:
  • 参与者：24位专业音乐家（平均12.7年经验），组成六个四人乐队。
  • 方法：三阶段共同设计过程，包括混合现实动手体验、概念设计和小组共识。
  • 数据收集：音频记录、草图以及小组讨论的主题分析。
• 局限性与未来工作:
  • 对更大规模乐队、非西方音乐传统以及残障音乐家的适用性有限。
  • 第一阶段的技术限制（例如特定头戴显示设备的问题、同地设置）。
  • 未来工作应包括分布式混合现实系统、多样化参与者群体，以及对已确定需求的实施和测试。

总结

本研究通过与专业音乐家共同设计过程，确定了混合现实音乐协作系统的七项核心设计需求。主要发现包括音频优先工作流程、非语言交流支持、个性化音频和空间控制以及即插即用的简便性。这些结果挑战了视觉优先的混合现实范式，强调音频和专业工作流程的首要性。这些需求为开发混合现实系统奠定了基础，使地理上分散的音乐家能够像共享物理空间一样协作，同时保持面对面协作的创造性和专业标准。