空间化音频和混合视频会议：房间内的人和远程耳机用户的声音应该定位在哪里？

文献标题

Spatialized Audio and Hybrid Video Conferencing: Where Should Voices be Positioned for People in the Room and Remote Headset Users?

文献信息

• 主题领域: 空间音频在混合视频会议中的应用及用户体验研究
• 关键词: 空间音频、视频会议、混合会议、声音定位、远程参与者、房间内用户、听觉感知

研究背景与问题

• 问题与挑战:

  • 混合视频会议中，会议室内使用扬声器的与远程使用耳机的人群之间，如何优化声音位置以提高用户体验。
  • 视频与声音流之间的空间对齐在远程与面对面场景中面临独特技术挑战。
  • 扬声器空间音频的“甜蜜点”限制和远程用户可能面临的声音与视频宽度的不匹配。

• 重要性:

  • COVID-19疫情后视频会议的广泛使用使得改善这一工具的用户体验显得更加紧迫，包括提高自然感和减少“Zoom疲劳”。
  • 空间音频技术在提高会议参与者声音辨别、降低认知负荷以及改进交谈流畅度方面具有显著潜力。

• 研究动机与相关工作:

  • 过去的研究表明，在音频会议中空间音频有助于声音区分和语音理解，但应用于视频会议的效果尚不清晰。
  • 目前视频会议中音频技术多采用单声道，等待用户体验研究来验证空间音频的价值。
  • 兼顾房间内和远程用户体验的音频布局设计仍属于未解决问题。

解决方案

• 方法与解决方案:

  • 提出了两种独立研究：房间内参与者使用扬声器的音频空间定位与远程参与者使用耳机的音频宽度探索。
  • 房间内实验测试了四种音频条件：单声道、立体声、二进制立体声、增强的多通道空间布局。
  • 远程实验测试了不同水平的声音分离角度（±5°、±15°、±30°）对应两人和四人视频会议场景。

• 创新之处:

  • 结合房间内多通道空间音频和耳机双耳渲染，研究了不同音频布局对多人的直接和间接交谈表现。
  • 探讨了音频宽度与视觉对齐的关系，并且洞察用户对宽度视觉声音不匹配的感知效应。
  • 将用户反馈与统计分析结合，用于指导混合会议音频设计。

• 实施步骤与关键技术:

  • 使用模拟对话视频和分割录制的音频流，分别在房间环境和远程参与环境下进行实验。
  • 房间内实验通过Dolby Atmos系统设计不同布局；远程用户实验使用普通耳机进行双耳音频渲染。
  • 测试用户对声音流识别的准确性、信心以及对声音与视频位置的一些感知问题。

研究成果

• 具体成果:

  • 房间内参与者对增强的多通道布局表现出最高的偏好，远远超过单声道和立体声布局。
  • 远程用户对耳机双耳渲染的空间音频表示认可，但宽度偏好的上限通常低于房间内用户。
  • 两人视频场景中用户倾向于较窄的声音宽度，四人场景中用户接受更宽的声音分布。

• 与现有解决方案的优势:

  • 提供了更高效的音频布局设计建议，加强了声音分离与可理解性。
  • 将房间内和远程用户体验分别优化，避免过于宽或过于狭窄的设计带来的负面影响。
  • 指导未来混合会议如何根据用户人数动态调整音频布局，从而全面提高参与者体验。

• 实验或评估结果:

  • 房间内扬声器用户能显著更快地辨认声音来源，同时对语音流理解更顺畅。
  • 远程用户尽管没有头部追踪功能，其对较窄宽度的声音分离表示满意，并降低听觉认知负担。
  • 调研了用户对视觉与声音匹配的需求，发现用户对宽度认知取决于音频人数场景。

• 局限性与未来方向:

  • 当前研究分析未对两种实验设定进行充分对比，例如两种用户群体跨环境评测。
  • 没有研究大规模会议场景下的音频布局效果以及对认知负荷的反应。
  • 建议未来探索动态调整布局宽度的自动化技术，并且引入头部追踪设备优化远程用户体验。

总结与设计建议

• 空间音频对于房间内扬声器和远程耳机用户都有显著益处，但需要根据不同场景调整音频宽度。
• 房间内应使用更宽的音频布局以覆盖整体音域，而远程用户应保持较窄的宽度以避免感官疲劳。
• 混合会议系统设计需要分离房间和远程用户体验，以达到最优的整体会议效果。