愿你在这里：混合现实中远程音乐合作的精神和生理影响

文献标题

Wish You Were Here: Mental and Physiological Effects of Remote Music Collaboration in Mixed Reality

文献信息

• 主题领域: 人机交互、混合现实、远程音乐协作
• 关键词: 混合现实, 增强现实, 远程协作, 头戴式显示器, 网络音乐表演, 共在感, 社会存在感, 生理信号处理, 心理生理学

研究背景与问题

• 问题或挑战:

  • 随着疫情的限制，面对面的音乐协作受到严重影响，音乐人难以与伙伴产生“共在感”。
  • 当前的远程音乐协作工具通常忽视视觉交互，导致社会存在感较低，以及音乐创作中知识的某些非听觉传递受限。
  • 尽管混合现实技术有潜力增强“共在感”和音乐创作体验，但相关研究和高质量实时低延迟传输的技术基础尚不成熟。

• 重要性:

  • 远程音乐协作在疫情期间及社交隔离等特殊情境中尤为重要。
  • 增强共在感和创造“心流”状态，可推动个体心理健康与完成音乐创作的动机。

• 研究动机与相关工作:

  • 音乐协作可以提升自我价值感、情绪状态和心理健康，但也依赖情感连接与面对面的非语言交流。
  • 文献中表明传输视觉信息（如姿态和手势）能有效提升远程音乐协作中的社会存在感，但混合现实条件下的具体实现与影响尚待考证。

解决方案

• 方法或解决方案:

  • 提出基于混合现实的远程音乐协作系统，其中通过头戴式显示器（HMD）展示实时3D点云，以增强远程“共在感”。
  • 通过实验设计考察“混合现实”（Mixed Reality，MR）与“仅音频”（Audio-only，AO）两种条件下对音乐人心流、共在感和积极情感的影响。

• 创新之处:

  • 利用头戴式显示器和3D点云捕捉技术实时重建远程音乐者的视觉形象。
  • 系统性地结合生理数据（如心率变异性、皮肤电导活动等）分析“心流”状态的物理特征。
  • 提取出用以实时评估“心流状态”的潜在生理特征，为情感计算发展提供新方向。

• 实施步骤:

  1. 使用实验室原型系统，分别测试两种条件（MR 和 AO）下的音乐人对共在感、心流和积极情感的主观及生理反应。
  2. 通过问卷调查获取主观感受数据，使用标准化工具（如NMSPI、FSS、PANAS）来评估心理指标。
  3. 采集生理特征（如HRV和EDA），结合自我标注的“心流”时段进行特征相关性分析。
  4. 使用开放式反馈进行质量分析，总结用户对系统的建议和改进意见。

研究成果

• 具体成果:

  • 与“仅音频”相比，MR条件显著增强了音乐家的共在感（共在感量表显著提升，p=0.011）。
  • 两种条件都能显著提高音乐人的积极情感，但MR与AO在增加情绪的效果上没有显著差异。
  • 通过生理数据分析，确定了心率（BPM）和低频/高频比值（LF/HF）对预测“心流状态”具有显著区分力，尤其是在MR条件下。
  • 心流状态的“高心率-低LF/HF”特征在MR情境中更显著，表明MR可能增加生理唤醒与情感投入。

• 优势:

  • 与现有的音频优先解决方案不同，MR技术支持视觉与非语言信号的多模态整合，从而增加了音乐协作中的社会存在感。
  • MR条件下的实时点云视觉化使得远程协作更具沉浸感，为增强音乐人互动的新工具设计提供参考。

• 实验或评估结果:

  • 定量评估中，“心流评分”两条件无显著差异；定性反馈显示，部分用户认为AO减少视觉干扰、增强了音乐专注力。
  • 生理数据分析显示，MR条件下“心流状态”与“非心流状态”可被更好地区分，支持未来基于实时生理信号的情感计算研究。

• 局限性与未来方向:

  • 局限性:
    • 当前HMD系统分辨率有限，延迟问题影响了部分音乐家对乐器的精确控制。
    • 点云质量和面向长距离真实应用的网络延迟未在实验中完全解决。
    • 样本量较小，部分指标的统计效能受到限制。
  • 未来方向:
    • 探索更高分辨率或更低延迟的新型硬件（如 Varjo XR-3 或 Microsoft HoloLens）。
    • 开发基于生理信号检测实时心流状态的混合现实辅助系统，为乐器技巧不同的音乐家动态调整挑战或支持。
    • 扩展实验场景到远距离互联网传输，观察不同延迟下的MR协作效果。
    • 对比其他显示方法（如3D投影或屏幕）在增强共在感和交互中的表现。