通过多模态场景感知声学渲染增强XR音频真实感

DOI

在扩展现实（XR）中，渲染精确模拟真实世界声学的声音对于创造逼真可信的虚拟体验至关重要。然而，现有的XR空间音频渲染方法往往难以实时适应多样化的物理场景，导致视觉和听觉线索不匹配。这种感官冲突会引发认知失调，破坏用户沉浸感。基于领域知识和先前工作，我们探索了设计空间中三种关键的基于场景的音频真实感增强策略：1）房间几何近似，2）材料分割，3）语义驱动的声学参数估计。我们介绍了Samosa，这是一种新型的设备端系统，通过动态适应物理环境来为XR渲染空间准确的声音。Samosa利用多模态房间脉冲响应（RIR）合成，估计由房间几何、表面材料和声学情境告知的场景声学属性，随后为多样化设置渲染高度逼真的声学效果。我们通过使用各种房间配置和声音类型的RIR合成声学指标进行技术评估，以及人类专家评估（N=12）来验证我们的系统。评估结果证明了Samosa在增强XR音频真实感方面的可行性和有效性。