电视直播中用户如何体验字幕：质量指标仍然是一个挑战

文献标题

如何用户在实时电视中体验闭字幕：质量指标仍然面临挑战 (How Users Experience Closed Captions on Live Television: Quality Metrics Remain a Challenge)

文献信息

• 主题领域: 人机交互与无障碍设计
• 关键词: 闭字幕,质量指标,字幕可用性,实时电视字幕,字幕准确性,用户体验评价,字幕外观,无障碍设计

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 闭字幕对于聋哑和听力障碍者的重要性日益增加，但该领域的质量评估指标（如字错误率等）未完全反映用户体验。
  • 即使是高质量字幕，用户仍可能认为其存在问题。
  • 客观质量指标（如准确性）与用户主观评价之间的关联较弱，说明准确性并不是唯一影响用户体验的因素。
  • 实时字幕（尤其是电视直播所用字幕）更容易出现可用性问题，例如同步性差和误差频发。

• 为什么这个问题很重要？

  • 闭字幕在教育、娱乐和信息获取中至关重要，影响社会参与和理解度。
  • 当前对字幕质量的评估标准未能充分捕捉用户需求，可能导致不适合的监管政策和影响字幕体验质量。

• 研究动机与相关工作：

  • 本研究旨在揭示用户体验与字幕质量指标之间的关系。
  • 通过定量和定性分析，评估目前使用的多个字幕质量指标（如字错误率、加权字错误率、自动字幕评估 ACE 和 ACE2）。
  • 与既有文献相关联，探讨因素如听力水平、字幕样式、字幕速度、视觉注意力分配等对用户体验的影响。

解决方案

作者提出了哪些方法或解决方案？

• 设计了两项用户研究以评估闭字幕的质量与用户体验：
  • 研究 1 (Pilot Study): 通过比较实时电视字幕和离线电视字幕，探讨字错误率（WER）和加权字错误率（WWER）。
  • 研究 2: 扩展研究，不仅增加了研究样本尺寸，还考察了更多质量度量（WER, WWER, ACE, ACE2），并添加了用户体验的定性分析。

该解决方案的创新之处是什么？

• 跨越多种质量指标，深入探讨这些指标在评估字幕用户体验中的适用性。
• 在第二次研究中引入字幕样式和用户自定义测试，从多维度探索用户感知影响因素。
• 混合方法学（定量+定性分析）揭示用户体验中更深层的影响因素，如同步性问题、可读性和字幕外观。

实施步骤是什么？使用了哪些关键技术？

1. 实验设计:
   • 制作视频剪辑 (20秒到57秒) 并应用有字幕的内容。
   • 对不同的字幕样式 (实时滚动字幕和离线弹出式字幕) 进行可视化设计与调试。
   • 雇用专业字幕服务 (Rev.com 与 3PlayMedia)，测试离线字幕的质量对比。
2. 数据收集:
   • 被试观看有字幕的视频并评价字幕质量。
   • 记录被试对每个视频的质量评分以及相关感知问题。
3. 质量指标计算:
   • 使用工具（如 SCLite 和 ACE/ACE2 软件），生成实时字幕的误差类型指标。
4. 结果分析:
   • 相关性计算以分析用户主观评分与客观字幕质量之间关系。
   • 定性分析，提炼出影响用户体验的潜在主题和关键因素。

研究成果

取得了哪些具体成果？

1. 质量指标与用户评分关系:
   • 所测试的指标（WER、WWER、ACE、ACE2）与用户评分的相关性均较弱，仅能部分捕捉用户体验。
   • ACE2 的相关性最高，但仍然不能完全反映用户对字幕质量的实际看法。
2. 定性分析:
   • 用户看中字幕的准确性和同步性，但对字幕难以跟随、缺乏说话人标识和字幕遮挡内容等表现出明显的焦虑。
   • 字幕样式（滚动字幕 vs 弹出式字幕）和视觉设计（大小、颜色、背景透明等）未获得一致性的用户偏好。

与现有解决方案相比，它有哪些优势？

• 本研究从多个新视角探索字幕质量评价问题，如听力人群、字幕样式和字幕设计等配置对体验的影响。
• 将纯定量数据分析扩展至用户定性反馈，通过多个方法综合揭示影响因素。

实验或评估结果是什么？

• 字幕的来源显著影响用户评分，直播电视字幕得分显著低于离线字幕。
• 字幕样式对质量评价无显著影响，但视觉设计和字幕遮挡问题被广泛提及。
• 将字幕错误（如拼写错误、延迟问题）与难以跟随的感受联系起来，揭示了用户体验中的痛点。

局限性与未来方向

局限性:

• 样本中偏向高英语水平的人群，未能捕获低英语水平用户的体验。
• 剪辑视频较短，难以提供够多的上下文信息以进行完整错误修正。
• 尚未评估基于自动语音识别 (ASR) 的字幕，其在实时字幕中正逐渐普及。

未来方向:

• 更广泛的用户样本招募，涵盖多元语言和文化背景。
• 探索更定制化的字幕生成和显示系统，以满足用户偏好。
• 引入更准确的字幕评分方法，结合用户体验数据重新设计质量度量标准。