幻听的声音：迈向更令人信服的内部化声音模拟

文献标题

The Sound of Hallucinations: Toward a more convincing emulation of internalized voices

文献信息

• 主题领域: 人机交互、语音处理、心理治疗工具开发
• 关键词: Avatar Therapy, 语音转换界面, 语音合成, 声音空间导航, 混合现实

研究背景与问题

• 问题或挑战:

  • 精神分裂症患者通常听到内部声音（幻听），这些声音缺乏外部参考，难以再现。
  • 现有语音操作工具复杂、能力有限，仅能进行小幅调整，无法逼真重现患者脑海中的声音。
  • 在增强现实技术逐渐应用于治疗领域时，制作高质量虚拟语音仍存在困难。

• 重要性:

  • 精神分裂症患者的治疗，如Avatar Therapy，能通过与虚拟化身对话帮助减轻症状。但如果虚拟化身的语音无法逼真模拟患者幻听，治疗效果可能会受影响。

• 研究动机:

  • 开发易于使用且功能强大的语音生成框架，不需要患者或治疗师在语音操作领域有专业知识。
  • 为语音调控提供更高的表达性，以弥补目前工具的不足。

解决方案

• 方法或解决方案:

  • 设计了一种语音生成框架，其中利用主成分分析（PCA）确定语音特征向量的主要变化维度，将其作为控制参数。
  • 提供用户友好的界面，允许探索现有语音样本并进行进一步的语音修改。
  • 提出两种语音调控技术：
    1. 语音空间导航：在特定多维格式的语音样本中找到与用户脑海中目标声音更相似的样本。
    2. 语音参数编辑：调整参数如音高、共鸣、沙哑程度以及情感韵律以匹配目标。
    3. 语音混合技术：从两个选定语音样本生成新声音，通过线性插值扩大可选语音样本范围。

• 创新之处:

  • 引入低维语音特征空间的可视化与导航，帮助用户更直观寻找目标。
  • 提供针对听觉特性（如沙哑、共鸣）的直接修改方法，而无需复杂音频域知识。
  • 在语音混合方面，提供了简单、直观的方式生成语音，同时保持声音自然性。

• 实施步骤与技术:

  • 使用LibriSpeech语料库提取语音样本。
  • 通过多语音模型提取语音特征向量，并使用UMAP将高维特征空间投影为二维。
  • 操作界面允许用户搜索初始语音，随后精确调整相关参数或使用插值生成新语音。

研究成果

• 具体成果:

  • 通过用户实验验证两种语音生成技术的有效性；与现有商用语音变换工具相比，他们的方法更能逼真再现目标声音。
  • 用户更倾向于使用提出的语音混合技术，认为其简单易用。

• 优势:

  • 与传统语音转换工具相比，生成的语音质量更自然，减轻了音质失真问题。
  • 提供无需参考录音就能生成目标语音的解决方案，尤其适用于幻听模拟场景。

• 实验或评估结果:

  • 两种技术均显著提高生成语音与目标声音的接近度。
  • 通过多维缩放分析（MDS），用户能将生成语音与目标语音归入更靠近的类别。

• 局限性与未来方向:

  • 局限性:

    • 声音编辑参数可能存在联动效应，某个参数的调整可能同时影响其他特性。
    • 系统目前针对北美英语语音，其他语言或口音的适用性有限。
    • 计算时间较长，按钮移动实时反馈尚未实现。

  • 未来方向:

    • 提高语料库的年龄或性别平衡性，以更好地匹配不同声音。
    • 引入语言嵌入技术支持多语言语音生成。
    • 优化预生成语音样本以减少交互时间。

总结

本文开发了一套用于精神科治疗（Avatar Therapy）的语音生成框架。通过探索语音样本及调整参数，系统能生成与患者脑海中声音更接近的语音。这对幻听患者的治疗及虚拟化身技术具有重要应用潜力，同时完善了现有语音合成工具的不足。