自然场景中的头部相关传输函数估计

文献标题

HRTF Estimation in the Wild

文献信息

• 主题领域: 空间音频技术与个性化头相关传递函数（HRTF）的推断
• 关键词: 空间音频, 头相关传递函数（HRTF）, 虚拟现实, 声音定位, 机器学习, 二耳录音, 头部跟踪, 个性化音频技术

研究背景与问题

• 主要问题或挑战:

  • 头相关传递函数（HRTF）是创建沉浸式空间音频体验的关键，但其获取需要专门设备和昂贵的测试过程。
  • 由于人体解剖结构的差异，HRTF因人而异，使用通用HRTF会导致错误的声音定位以及不好的听觉感受。
  • 传统的HRTF个性化测量方法耗时、昂贵，并且需要特殊实验室环境，如无回声室和高精度扫描设备。

• 研究重要性:

  • 在虚拟现实、游戏、电影音效和音乐等领域，个性化HRTF至关重要，它可以显著提高音频沉浸感和定位精度。
  • 解决HRTF测量的复杂性和成本问题，将使其在更广泛的消费设备上实现，比如耳机或耳塞。

• 研究动机与相关工作:

  • 耳塞设备（如苹果AirPods）的大量使用为在日常环境中利用简单设备捕获数据提供了契机。
  • 现有方法存在局限性：
    1. 贵重设备或特殊环境的需求。
    2. 多数基于扫描、测量等繁琐的方法，或依赖用户参与的量化任务，而无法实现被动测量。
    3. 无法有效利用自然环境中的记录数据来个性化推测HRTF。
  • 本研究提出通过日常的二耳录音和头部跟踪数据，使用机器学习生成个性化HRTF的新方法，旨在消除这些障碍。

解决方案

• 提出的方法或解决方案:

  • 利用耳机的双耳录音与头部跟踪，结合机器学习模型（基于U-Net深度网络），从自然环境的头部运动和环境声音变化中推断个性化HRTF。
  • 革新现有基于声源控制和实验室测量的传统方法，将数据采集简化为耳漂用户头部探索的日常行为。
  • 方法核心：通过对不同方向上的声音滤波变化进行学习（预测ILDs），结合用户的头部跟踪信息，生成目标HRTF。

• 创新之处:

  • 数据来源创新: 在普通的日常环境中（而非无回声室）收集数据，无需额外设备或复杂的头部扫描。
  • 模型设计: 数据直接来自耳机捕获的二耳录音，还主动利用自然头部运动作为条件输入。
  • 自动化: 减少用户主动配合，如不再需要用户回答复杂问题或携带深度传感器。

• 实施步骤与关键技术:

  1. 数据采集: 借助内置双耳麦克风和头部IMU的耳塞，采集音频及头部运动数据。
  2. 数据建模: 利用U-Net模型，从捕获的二耳音频中预测频率相关的声音滤波特性。
  3. 噪声源与头部运动匹配: 用户初始化时定位噪声源，通过对声源位置和头部旋转的分析，推断个性化HRTF。
  4. 优化与叠加: 聚合不同环境条件下的预测数据，综合多声源与多角度信息，逐步提高HRTF预测精度。
  5. 转换输出: 综合频谱滤波特性和现有的时间差（ITDs），计算最终的个性化HRTF和HRIR。

研究成果

• 取得的具体成果:

  • HRTF精确性: 模型预测的HRTFs与单独测量的无回声室HRTFs具有较高的一致性，量化评估的对数谱失真（LSD）值显著优于现有方法。
  • 声音定位改进: 用户在虚拟音频环境中使用本研究的HRTF呈现的声音定位表现优于使用通用HRTF。
  • 减少前后混淆: 本方法生成的HRTFs使听众的前后混淆率降低至14.8%，相比通用HRTF（29.0%）提升明确。

• 与现有解决方案相比的优势:

  • 与传统依赖3D头部扫描或图像分析的方法相比，本方法完全免扫描。
  • 无需用户积极参与复杂的实验过程，最大限度地简化数据采集。
  • 对噪声源的适应能力与多环境泛化能力增强。

• 实验或评估结果:

  • 实验验证了预测HRTF在噪声环境与虚拟显示场景中的可用性。
  • LSD值与传统方法基线相比显著更小（模型4.38 dB，小于通用HRTF的7.32 dB）。
  • 用户试验证明听众在方向感知和声音定位中精度得到了显著提升。

• 局限性与未来方向:

  • 目前方法局限于单一静止声源，尚未在多源或动态声源情境下验证。
  • 初始需要用户对声源进行手动校准（方向锁定），需要进一步优化为完全被动化。
  • 对市售耳机的实际麦克风位置及其影响建模尚需更细化校准。