观看它，不要想象它：通过从聋哑观众那里收集更多生态有效的判断来创建更好的字幕遮挡指标

文献标题

Watch It, Don’t Imagine It: Creating a Better Caption-Occlusion Metric by Collecting More Ecologically Valid Judgments from DHH Viewers

文献信息

• 主题领域: 无障碍设计，人机交互
• 关键词: 无障碍, 字幕遮挡, 度量, 回归, 聋人和弱听者

研究背景与问题

• 作者发现了哪些问题或挑战？

  • 电视字幕可能遮挡屏幕的其他信息内容（如文本、人物面部等），这会降低聋人和弱听者（DHH）的观看体验。
  • 现有的字幕质量评价指标主要关注字幕文本的准确性，而忽略了字幕位置及遮挡问题。
  • 之前的研究采用静态图表让参与者“想象”字幕遮挡的影响，这种数据采集方法可能缺乏生态效度。

• 为什么这个问题很重要？

  • 全球有超过3.6亿人面临听力问题，15%的美国成年人依赖电视字幕获取内容。
  • 电视字幕的遮挡可能影响DHH群体对电视节目的理解和满意度，从而降低无障碍媒体服务质量。

• 研究动机与相关工作

  • 作者希望通过更真实的情境数据收集，开发一种新的字幕遮挡严重度度量方法，指导字幕的自动化布局并提升DHH用户体验。

解决方案

• 作者提出了哪些方法或解决方案？

  • 开发“整合性判断模型”（Holistic Judgment Model），用回归技术总结DHH参与者在观看动态视频后的主观评分。
  • 与之前的“组件判断模型”（Component Judgment Model）相比，采用更生态化的方法进行数据采集，即实际观看视频而非基于静态图表想象。

• 该解决方案的创新之处是什么？

  • 改进数据收集方式，直接让参与者观看视频并提供整体字幕质量评分，避免参与者对每个屏幕区域的遮挡单独判断可能产生的偏差。
  • 通过回归建模计算字幕遮挡某些屏幕区域（如人物眼睛、嘴巴等）对整体观看质量的影响，并优化权重。

• 实施步骤是什么？使用了哪些关键技术？

  1. 视频刺激生成:
     • 从6种常见电视类型中选择104个视频片段，包括新闻、天气、体育、紧急公告等。
     • 每个视频生成4种不同字幕位置版本。
  2. 视频注释:
     • 标注每个信息区域的遮挡时间百分比和面积百分比。
  3. 数据采集:
     • 组织24名DHH参与者远程观看视频并评分。
     • 使用10分制回答主观问题“您对视频字幕位置满意吗？”。
  4. 回归分析:
     • 每种电视类型生成一个最佳拟合回归模型。
     • 使用特征工程选取每个信息区域的最佳遮挡特征。

研究成果

• 取得了哪些具体成果？

  • 新模型能显著预测DHH观众对字幕遮挡质量的主观评分，特别是在天气新闻和体育视频类型中表现更优。
  • 相较于之前的模型，新模型对屏幕区域特征权重提供了更合理的解释，反映了真实观看体验中的动态变化。

• 与现有解决方案相比，它有哪些优势？

  • 新的生态化数据采集方式更贴近真实观看场景，有效减少参与者基于想象的偏差。
  • 新模型通过回归分析优化了权重，提升了字幕质量评估的准确性。

• 实验或评估结果是什么？

  • 与之前的“组件判断模型”相比，新的“整合性判断模型”实现了更高的预测效果，尤其是在信息密集型视频中。
  • 新模型解释了显著部分的评分方差（如天气新闻的调整后 R² 达到0.282）。

• 局限性与未来方向

  • 局限性:
    • 本研究仅使用短视频片段（30秒），未来需要测试更长的电视节目。
    • 样本量较小，仅覆盖部分年龄段的DHH群体。
    • 当前仅研究了6种电视类型，其他类型可能具有不同需求。
    • 未考虑其他字幕质量影响因素（如同步性、风格等）。
  • 未来方向:
    • 收集更大规模的参与者数据，涵盖更广泛的年龄和背景。
    • 开发自动化视频区域检测技术，提升字幕布局工具的效率。
    • 扩展研究范围至其他类型的电视节目，优化模型的适用性。

总结

该研究通过改进数据采集方法，基于观看实际视频的主观评分创建新的“整合性判断模型”，显著提高了字幕遮挡严重度的度量质量。这不仅对字幕布局的自动化优化有指导意义，还为观众与视频交互研究提供了理论支持，推动无障碍设计的进一步发展。