空间语音翻译：使用双耳可穿戴设备在空间中进行翻译

研究背景与问题

• 作者发现了哪些问题或挑战？

  1. 现有的便携式翻译设备无法实现多讲话者翻译，并缺乏空间感知能力。
  2. 传统翻译方法难以实现实时、高质量的翻译，尤其是在嘈杂和多讲话者环境下。
  3. 当前的实时翻译模型通常缺乏语音表达和方向感的保留，难以提供沉浸式的听觉体验。

• 为什么这个问题很重要？

  1. 语言是人与人交流的重要工具，在国际化环境中，语言障碍会极大限制人们的互动。
  2. 具有空间感知能力的翻译系统可以帮助人们牢记讲话者的位置和声音特征，从而更自然地参与对话和互动。
  3. 在嘈杂和多讲话者情境下实现实时翻译，对改进交流及推动全球化发展很重要。

• 研究动机与相关工作

  1. 传统翻译技术主要面向单讲话者或以文本为核心，无法处理含有重叠语音的多讲话者环境。
  2. 文献中较少涉及语音翻译与空间计算的集成。常见的翻译设备也不具备空间音频处理能力。
  3. 激发灵感的案例包括《银河系漫游指南》的“Babel鱼”和《星际迷航》的通用翻译器，这些科幻作品展示了实时、无缝的语言翻译潜力。

解决方案

• 作者提出了哪些方法或解决方案？

  1. 提出了空间语音翻译框架（Spatial Speech Translation），集成了语音分离、讲话者定位、翻译和双耳渲染组件。
  2. 开发了一种基于神经网络的实时联合定位与分离算法，用于从嘈杂和多人语音中分离讲话者。
  3. 引入实时且具有表达性的语音翻译模块，利用神经网络保留讲话者声音的特性和语调。
  4. 通过空间化双耳音频渲染技术实现翻译语音的方向感。

• 该解决方案的创新之处是什么？

  1. 将空间感知引入语音翻译问题，这是首次在听觉设备中实现这一融合。
  2. 应用了 ILD（互耳信号差异）和 ITD（互耳时间差异）技术，确保翻译后的语音具有逼真的空间方向感。
  3. 设计了一个适用于 Apple M2 芯片的优化模型，实现了设备上的低延迟翻译。

• 实施步骤是什么？使用了哪些关键技术？

  1. 联合定位与分离：使用基于深度学习的搜索算法，将音频分为方向性区域，并提取每个区域的语音。
  2. 实时表达性语音翻译：
     • 首先进行流式语音到文本（S2T）翻译，同时保持低延迟。
     • 然后将翻译文本转化为输出语音（T2S），并注入表达性特征（如语调和节奏）。
  3. 双耳渲染：
     • 提取原始语音的空间线索，并通过通用头相关传递函数（HRTF）进行方向定位。
     • 将空间线索映射到翻译后的语音，保持讲话者的空间方向感。
  4. 模型优化与微调：通过混合真实和分离模型的输出数据，微调翻译模型以提高其鲁棒性和精度。

研究成果

• 取得了哪些具体成果？

  1. 在六种室内和四种室外场景中，系统在未见过的多路径环境中表现良好，验证了其通用性。
  2. 用户研究表明，系统在语义一致性（Semantic Consistency）和讲话者相似性（Speaker Similarity）方面优于现有模型。
  3. 实现了逼真的双耳渲染，参与者能够准确判断翻译语音的方向。

• 与现有解决方案相比，它有哪些优势？

  1. 空间感知：支持多讲话者翻译并保留语音的空间方向性。
  2. 表达性：在翻译过程中保留讲话者的语调、节奏及个性化语音特征。
  3. 噪声鲁棒性：在嘈杂和干扰环境下提供稳定的翻译效果。

• 实验或评估结果是什么？

  • 主观评价：
    • 系统在语义一致性上的平均得分为 3.35（满分 4），而基于非空间感知模型的得分仅为 1.15。
    • 表达性提高后的语音更接近讲者特性，得分从 1.81 提高到 3.45。
  • 客观指标：
    • BLEU 分数从 18.06 提高至 22.07（通过分离模型微调后的模型）。
    • 平均翻译时延为 3.2-3.6 秒，符合实时翻译需求。
    • 渲染语音的 ITD 和 ILD 误差分别降低至 72.3 µs 和 0.16 dB，比基线模型改善明显。

• 局限性与未来方向

  1. 局限性：
     • 保留表达性的语音仍可能受到输入音频中的噪声和失真的影响。
     • 当前使用的翻译模型规模（175M 参数）相对较小，可能限制了 BLEU 分数和延迟表现。
     • 未完全支持无线耳机设备的集成，例如流式传输对双耳设备可能有延迟。
  2. 未来方向：
     • 进一步微调表达性语音模型以生成更自然和清晰的翻译语音。
     • 引入更大规模且高效的翻译模型以提升准确性。
     • 在增强现实（AR）和虚拟现实（VR）上测试空间翻译，与直观的视觉显示相结合。
     • 定制化系统以适应不同场景需求（如社交场景与正式场景下的不同翻译策略）。