转录之误：自动语音识别中的字幕错误降低演讲者与内容评价

文献标题

Lost in Transcription: Subtitle Errors in Automatic Speech Recognition Reduce Speaker and Content Evaluations

出版信息

• 主题领域: 自动语音识别（ASR）字幕错误对演讲者和内容评价的影响。
• 关键词: ASR, 字幕质量, 演讲者评价, 内容评价, 口音偏见, 字幕错误, 观众感知, 自动转录, 认知负荷, 包容性。

背景与问题

• 问题 / 挑战: ASR系统生成的字幕常常存在错误，并且在不同人口群体之间表现出性能偏差。这些错误可能会对观众如何评价演讲者及其内容产生负面影响，尤其是对于具有非标准口音的演讲者。
• 重要性: 字幕错误可能加剧现有的社会偏见，从而在职业、教育和社交场合中使演讲者处于不利地位。
• 动机与相关研究: 先前研究表明，ASR系统在种族、性别和口音方面存在性能差异，导致情感和职业上的损害。然而，现有研究尚未完全控制诸如演讲者身份和外貌等混杂因素，因此对字幕错误对演讲者和内容评价的直接影响仍存在理解上的空白。

解决方案

• 提出的方法: 采用混合因素在线实验来评估字幕错误和演讲者口音对观众对演讲者及其内容评价的影响。
• 创新点:
  1. 使用AI生成的口音控制演讲者身份、外貌和表达方式。
  2. 检验字幕质量与演讲者口音对评价的联合影响。
  3. 使用真实世界的ASR系统生成逼真的错误字幕。
  4. 引入一种新颖的方法设计以隔离字幕错误的影响。
• 实验流程与关键技术:
  • 参与者（N=207）观看了两段视频，视频中的演讲者分别使用标准美式英语（SAE）和非SAE口音。
  • 每位参与者观看一段带有准确字幕的视频和一段带有错误字幕的视频。
  • 收集关于字幕质量、演讲者表达和内容质量的评价。
  • AI生成的音轨确保在口音条件下演讲者特征的一致性。

结果

• 具体发现:
  • 字幕错误显著降低了演讲者评价（β = 0.451, p < 0.001）和内容评价（β = 0.341, p < 0.001）。
  • 准确的字幕使SAE和非SAE演讲者的评价均有所提高（例如，Mnon-SAE=3.98 vs. Mnon-SAE=3.48，针对演讲者评价）。
  • 演讲者口音对评价没有显著影响（β = −0.056, p = 0.604，针对演讲者评价；β = −0.069, p = 0.512，针对内容评价）。
• 相较基线的优势: 控制了诸如演讲者外貌和表达方式等混杂因素，使得能够更清晰地将影响归因于字幕质量。
• 实验 / 评估:
  • 视频来源于TED演讲，并通过AI生成的音频创建SAE和非SAE口音条件。
  • 错误字幕由Google Meet生成，其词错误率最高（WER = 0.31）。
  • 测量包括字幕质量、演讲者表达和内容质量，并使用线性混合模型进行分析。
• 局限性与未来工作:
  • 仅限于南亚男性演讲者，研究结果可能无法推广到不同人口群体。
  • 参与者主要来自WEIRD群体，可能无法反映更广泛的观众感知。
  • 未探讨较低评价的机制或错误是否归因于演讲者或系统。
  • 未来研究应探索字幕质量的感知、错误的重要性以及自适应字幕设计。

总结

本研究表明，ASR生成的字幕错误显著损害了演讲者和内容的评价，无论演讲者口音如何。通过控制演讲者身份并使用AI生成的口音，研究隔离了字幕质量的影响，显示准确字幕能够改善观众的感知。虽然未检测到基于口音的评价差异，但研究结果突出了ASR错误可能加剧职业和社交场合现有偏见的潜力。未来研究应探索自适应字幕设计以及观众对字幕质量的感知，以减轻这些损害并促进更具包容性的ASR系统。