保持VRhythm的进行：一项以音乐家为中心的研究，探讨虚拟现实如何支持创意音乐实践

文献标题

Keep the VRhythm going: A musician-centred study investigating how Virtual Reality can support creative musical practice.

文献信息

• 主题领域: 虚拟现实与音乐创作实践
• 关键词: 虚拟现实, 音乐, 音乐实践, 排练, 表演, 即兴创作, 创意

研究背景与问题

• 问题或挑战:

  • 音乐家的创意实践受演奏空间的声学和视觉反馈影响，但通常无法在最终表演空间进行排练。
  • 乐队排练室的声学设计常常质量较差，无法模拟复杂的感知效果。
  • COVID-19大流行加剧了音乐家的创作实践困难，例如缺乏物理空间和转变适当心态的能力。
  • 虚拟现实（VR）在表演方面的研究重点通常放在观众，而非表演者，且现有系统对声音真实感渲染存在缺陷。

• 重要性:

  • 提升音乐家在声音和视觉环境中的适应能力有助于创作、排练和表演。
  • 寻求解决方案能够提供替代性高质量排练空间，并缓解表演焦虑。

• 研究动机与相关工作:

  • 探讨VR如何支持音乐家的创造性实践，从视觉和声学结合角度去设计音乐体验。
  • 基于六项设计需求开发VR系统，并通过现有模拟器和空间声音渲染研究进行对比。

解决方案

• 方法与解决方案:

  • 提出并开发一个名为“VR Rehearse & Perform”的音乐家中心的VR系统。
  • 根据音乐家和表演科学专家的反馈，规划关键设计需求。
  • 系统提供虚拟环境，包括高质量声学空间和视觉效果，可用于排练、表演及即兴创作。

• 创新之处:

  • 允许音乐家探索创造性排练和表演环境的定制性（声学特性和光影效果）。
  • 通过声学空间和视觉环境的交互实现灵感触发和表演心理状态的培养。
  • 提供实时声音反馈，与虚拟环境完美结合，并探讨音质与延迟优化。

• 实施步骤与技术:

  • 搭建中等保真度和高保真度VR模型，以Unity游戏引擎开发。
  • 使用3DTi工具包进行声音空间化处理，并结合真实的演奏厅响应函数（RIR）。
  • 添加动态交互选项，包括手势控制和环境定制。
  • 收集数据并评估系统对音乐家的创造性实践支持效果。

研究成果

• 具体成果:

  • VR Rehearse & Perform有效支持音乐家的不同创意实践，如排练、表演以及即兴创作。
  • 提供了进入高质量声学环境和“圣地”空间的机会，从而提高表演的准备和心理状态。
  • 探索了多种音乐环境及参数设置与音乐创作之间的关联。

• 优势:

  • 提供了一种经济实惠、便捷且灵活的解决方案，用于音乐排练和创作。
  • 实验环境激发音乐家的创意灵感和对新表演可能性的深入探索。
  • 缓解了现实空间压力并削弱音乐表演焦虑。

• 实验或评估结果:

  • 被试音乐家普遍对虚拟环境的潜力和系统的灵活性表示认可。
  • 系统的声学准确性在不同场景下得到积极反馈，但音频延迟对某些乐器表现产生了一定影响。
  • 环境多样性显著提升了音乐家的创造力和参与度。

• 局限性与未来方向:

  • 局限性:
    • 声音延迟问题在某些乐器（如键盘乐器）上表现明显。
    • VR系统尚未支持多人互动或实时协作。
    • 系统可能缺乏对音乐家身体动态和仪器位置的完整跟踪。
  • 未来方向:
    • 改进音频处理技术以减少延迟，同时保持声学的真实性。
    • 探讨符号化或跨模态混合环境，为创造性实践引入新的声音与图像交互路径。
    • 开发支持多人合作的虚拟音乐平台，并增强对仪器的视觉集成。

通过这项研究，作者成功证明了VR技术可作为支持音乐创作实践的有力工具，并为后续相关研究奠定了基础。