可穿戴音频设备的声学透明度对音频AR的影响

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 在音频增强现实（Audio Augmented Reality, AAR）中，设备必须具备高声波透明性以确保用户能够自然地感知真实世界的声音，同时还能增加虚拟声音。然而，关于声波透明性对于AAR的整体体验及其与用户主观认知的关系尚不清晰。此外，缺乏对不同设备设计如何影响AAR体验的深入研究。

• 为什么这个问题很重要？

  • 随着AAR技术的广泛应用，优化用户体验至关重要。设备需在不妨碍真实声音的基础上叠加虚拟声音，同时保持舒适体验。然而设备设计和透明性能可能影响用户感知，这对AAR设备的研发和应用提出了新挑战。

• 研究动机与相关工作：

  • 之前的研究评估了设备的声波透明性能，但主要集中在物理指标或声音定位准确性上，而未明确其与用户主观感知的关系。研究动机是探索实验室测量的透明性如何影响用户的实际体验，从而优化AAR设备设计以提高体验质量。

解决方案

• 作者提出了哪些方法或解决方案？

  • 提出一种全面的研究框架，通过评估五种不同形状和透明模式的设备的物理透明性和主观透明性进行分析。
  • 主观实验包括评价真实世界声音的空间维度体验（比如打击感、声音源宽度、包围感），以及设备对于AAR体验的整体影响。

• 该解决方案的创新之处是什么？

  • 作者首次将物理透明指标（例如头部相关传递函数变化 HRTF）与用户的主观印象相联系。此外，通过实地演示验证了如何使用具有高透明性设备提供增强的现场音频体验。
  • 使用现实环境中两种类型的AAR内容（形成相同音频对象流内容和形成不同音频对象流内容）提供实际使用案例。

• 实施步骤是什么？使用了哪些关键技术？

  • 物理透明性测量：比较不同设备在佩戴与未佩戴状态下的头部相关传递函数的功率谱变化，通过频率调整计算透明性指数。
  • 主观实验：设计控制真实声音和设备声音的实验环境，评估主观透明性及与AAR体验相关的主观感知指标，例如自然性、打击感和外部化程度。
  • 实地演示实验：将开放耳耳机应用于博物馆、多声道声音系统中，验证设备用于真实音频场景中的增益效果和用户体验满意度。

研究成果

• 取得了哪些具体成果？

  • 设备设计与用户体验的关系：
    • 开放耳设备（例如E设备）在声波透明性和用户感知方面表现最佳，能够无缝融合真实声音和虚拟声音。
    • 较低透明性的设备（例如A和D）倾向于增加主观不自然感和减少对真实声音的注意。
  • 真实声音与AAR内容感知：
    • 主观实验显示，设备的物理透明性与用户感知的空间维度（打击感、宽度、包围感）高度相关。
    • 在透明性高的设备中，用户体验更自然，注意力更容易集中在现实场景的声音上。

• 与现有解决方案相比有何优势？

  • 提供了跨维度的分析，包括物理透明性、主观透明性和实际使用场景演示。这种综合方法揭示了设备性能与用户体验之间的复杂关系。
  • 展示了新的应用案例，通过开放耳设备实现了更具吸引力的增强现实音频体验，例如在博物馆和音乐会的不同应用场景。

• 实验或评估结果是什么？

  • 主观实验表明，透明性高的设备（如开放耳耳机）能够降低设备声音带来的不适感并提高整体用户满意度。
  • 博物馆体验显示开放耳耳机可以实现不可区分的设备与现场声音的结合，93%满意度反映了技术的潜力。
  • 第二实验中评论音频与音乐内容的结合优化了理解和体验质量，整体满意度较高。

• 局限性与未来方向

  • 局限性：

    • 研究受限于使用的设备数量（仅五种型号），需进一步扩展到更多类型设备。
    • 用户参与限制了统计分析的代表性（主观实验中仅15名参与者）。
    • 并未明确研究其他感官刺激（如视觉、环境声音）对AAR体验的潜在协同作用。

  • 未来方向：

    • 开发更精确的听觉模型以预测用户对真实和增强声音的主观印象。
    • 探索不对真实声音产生干扰的叠加虚拟声音方法。
    • 研究多用户设备的交互效应，以优化公共场景下的AAR体验。