远程沉浸式即兴表演：沉浸式可视化对在线排练和表演戏剧的影响

文献标题

Tele-Immersive Improv: Effects of Immersive Visualisations on Rehearsing and Performing Theatre Online

文献信息

• 主题领域: 远程协作技术与戏剧表演应用
• 关键词: tele-immersion, tele-presence, improvisation, immersive communication, mixed reality, creativity, digital theatre, flow states, virtual environments, video conferencing

研究背景与问题

• 问题与挑战:

  • 新冠疫情期间社交限制使得戏剧演员无法进行面对面的排练和表演。
  • 目前流行的视频会议工具(如Zoom、Skype)主要为商务和教育设计，不能满足戏剧教学和表演的特殊需求。
  • 尽管远程协作工具在过去有一定研究，但极少直接探讨视频会议如何影响隔离环境中演员的即兴表演经验。

• 重要性:

  • 即兴戏剧表演依赖参与者的实时反应能力与共创叙事的合作。
  • 当前远程技术的局限性（如缺乏身体语言和共存感）显著影响表演质量，研究解决这些挑战意义重大。

• 研究动机与相关工作:

  • 远程沉浸式系统（tele-immersion）已被证明能增强用户的存在感，但多集中于受控实验室环境中，对家庭用户的实际应用鲜有研究。
  • 现有研究在探讨“沉浸式通信对戏剧的影响”方面仍有空白，该研究是填补这一空缺的尝试。

解决方案

• 方法和解决方案:

  • 提出并开发了一款名为“Virtual Director”的媒体服务器。
  • 该工具将视频会议与沉浸式3D虚拟场景相结合，提供演员实时交互的动态虚拟环境。
  • 通过背景分割和场景合成，用户可以看到自己与远程伙伴共同处于同一个虚拟空间，实现2D视频与3D场景的融合。

• 创新之处:

  1. 无需额外硬件即可实现远程用户的沉浸式体验。
  2. 提供动态背景和实时用户交互，大大提升远程表演的临场感。
  3. 针对戏剧排练和表演设计，减少了传统视频会议的视觉分散问题。

• 实施步骤与关键技术:

  • 视频输入和背景分割: 提取每位参与者的视频流，使用实时抠图技术移除背景。
  • 虚拟场景的3D建模与动态操控: 视频流被嵌入到虚拟场景中，可实时调整位置、比例和旋转。
  • 用户界面与操作: 提供直观控制界面，通过MIDI控制器灵活调整背景和对象。
  • 使用TouchDesigner平台开发核心功能，支持NDI视频标准以实现视频流无缝传输。

研究成果

• 具体成果:

  • 演员普遍报告在虚拟共享空间中获得了更强的同伴联系感和身体感。
  • 实验表明，当演员看到自己与远程伙伴并置在同一虚拟场景时，更加容易进入即兴戏剧表演所需的“心流”状态。
  • 动态背景不仅替代了传统的“场景描述”环节，还为演员提供了强大的视觉灵感。

• 与现有解决方案的比较:

  • 与Zoom、Skype等工具相比，Virtual Director极大地提升了戏剧表演的沉浸感和互动性。
  • 用户反馈显示，该工具有效解决了“Zoom疲劳”现象带来的注意力分散问题。

• 实验或评估结果:

  • 在6周的用户研究中，16位专业即兴演员参与了使用Virtual Director的在线排练和表演。
  • 所有参与者均描述了积极体验，包括“乐趣”、“兴奋”与“创意激发”。
  • 许多参与者反馈感觉能更好地与虚拟环境互动，甚至比实际共处时更能释放身体表达。

• 局限性与未来方向:

  1. 技术限制: 视频延迟、设备差异、显示屏大小等影响仍需解决。
  2. 测试条件限制: 本研究基于隔离条件，缺乏对多样化受控条件的分析。
  3. 未来方向:
     • 探讨如何优化设备和操作环境以更大程度减少视觉干扰。
     • 扩展到实际观众参与的公开表演研究，探索观众融入和反馈机制。
     • 设计更多自动化功能以简化背景切换和演出管理，降低技术门槛。

总结

• 研究证明了“沉浸式视频平台”能够显著提高远程戏剧表演体验，为特殊时期下的远程剧场创作打开了新方向。
• 通过用虚拟环境增强即兴表演中的临场感和互动性，该研究为未来开发其他远程协作工具提供了启示。