在鲜少被听见的语言使用者社区中开展自动语音识别开发

文献标题

Situating Automatic Speech Recognition Development within Communities of Under-heard Language Speakers

文献信息

• 主题领域: 语音识别、计算机交互、人机交互（HCI）
• 关键词: 自动语音识别, 社区参与, 低资源语言, 混合语言, 语音数据收集, 众包转录, 数字公平, isiXhosa

研究背景与问题

• 问题与挑战: 尽管自动语音识别（ASR）技术在主流语言中的应用不断扩展，但许多不被重视的小语种（如isiXhosa）在这些技术中却得不到支持。例如，现有的 ASR 系统依赖于大量高质量话语数据和精确的人工转录，且多由大企业主导，这使得这些社区在技术开发过程中被忽略。
• 问题重要性: 小语言和多语言混合社区需要专属的解决方案来支持其独特的语言使用方式；然而，现有的 unsupervised 方法需要大量数据且成本高昂，超出了小型社区的承受范围。此外，这些方法可能加剧对数据本地权属的忽视，引发伦理和安全问题。
• 研究动机: 寻求一种社区参与模式来开发更公平的 ASR 系统，从而更好地支持语言被忽视的社区，并在语音技术中反映它们的日常语言使用特点。

解决方案

• 方法/工具介绍:

  • 开发了一套"工具包"，该工具包包括以下部分：1）SpeechBox（语音盒子），一种适合公共场所部署的信息设备；2）TranscriptTool（转录工具），一款面向移动设备的众包语音转录应用；3）反馈系统，包括 ASR 模型的演示器，对社区成员开放数据使用成果。
  • 数据收集采用本地化硬件，激励社区成员提供话语数据，并结合反馈回路展示技术进展。

• 创新之处:

  • 将语音识别开发嵌入社区，通过有效的公众参与收集多样化的非结构化语言数据。
  • 针对isiXhosa及其混合语言特性设计专属训练和评估框架，以减少对统一语言规范的依赖。
  • 提出了社区反馈驱动的 ASR 评估与调优方法，打破传统指标（金标准与错误率）过于狭隘的局限。

• 实施步骤:

  1. 利用 SpeechBox 在南非 Langa 地区部署到互联网咖啡馆和便利店中，用于收集 COVID-19 相关的社区故事。
  2. 使用 TranscriptTool 动员社区参与语音转录任务，解决多语言混合以及噪音较大的环境挑战。
  3. 开发多语言 ASR 模型，融合 isiXhosa、英语和其他南非语言，优化代码切换与口语转录性能。
  4. 构建 ASR 演示器，用于让社区成员通过语音查询访问收集的 COVID-19 数据库，并对系统反馈进行评级。

研究成果

• 具体成果:

  • 收集了318个社区故事，总时长近两小时，为研究低资源语言的自然语言使用情况提供了重要数据。
  • 将 ASR 模型的字符错误率从 51.2% 降低到 27.7%。尽管错误率仍较高，但该模型能够支持社区对关键语境的"大意"理解。
  • 开发的 TranscriptTool 有效支持社区成员在有限技术条件下进行高难度音频的精准转录。
  • 演示器显示了语音查询与语义搜索相结合的潜能，现场部署期间用户完成了750次查询，其中71%的查询返回了结果。

• 优势:

  • 语音识别和数字参与被嵌入了社区动态语言实践中，而不仅限于实验室数据集开发。
  • 数据收集、转录及模型调优过程突出了语言使用的多样性，以更好地反映社区需求。
  • 数据治理和反馈循环机制增强了社区对技术开发的主导权。

• 实验与评估结果:

  • 在语音查询演示设备的部署中，245次查询成功返回匹配结果，其中66%的反馈评价为“相关”。这一结果显示社区成员对实际应用的 ASR 系统表现出接受度和认可。
  • 语音数据与转录数据表明，isiXhosa 的高度动态和未标准化特性使得以传统方式定义 ASR "金标准"存在诸多不足。

• 局限性与未来方向:

  • 局限性：
    • 录音上的背景噪声和多角色发声增加了转录难度。
    • 社区成员在使用工具时受制于硬件条件（如旧手机、碎裂屏幕）。
    • 现阶段模型在代码切换和语言边界处理上仍存在不足。
  • 未来方向：
    • 针对像 isiXhosa 等小语言开发并测试更复杂的代码切换算法。
    • 开展社区主导的 ASR 系统调优研究，为用户定义更灵活可靠的“足够好”的转录标准。
    • 探索在更广泛的低资源语言语境下推广这些社区参与驱动的方法和工具。