CrossA11y：通过跨模态接地识别视频无障碍问题

文献标题

CrossA11y: Identifying Video Accessibility Issues via Cross-modal Grounding

文献信息

• 主题领域: 视频无障碍问题识别，跨模态技术
• 关键词: 音频描述, 闭合字幕, 视频, 无障碍, 跨模态

研究背景与问题

• 发现的问题或挑战:
  • 视频使用视觉与听觉信息传达内容，但对于无法访问这些模态的用户（如盲人、低视觉能力用户或听觉障碍用户）存在无障碍问题。
  • 添加音频描述（AD）和闭合字幕（CC）是提升视频无障碍性的重要方法，但创作这些内容对于非专业作者来说耗时且困难，很难精准识别视频中的无障碍问题。
  • 当前工具通常基于“语音间的间隙”来判断无障碍问题，但诸多场景（如教程视频、博客、讲座）中即使没有显著的语音间隙，也可能存在重要视觉内容未被描述或听觉信息未被充分表达。
• 重要性:
  • 视频无障碍对于盲人、低视力人士和听力障碍者的公平信息访问具有重要意义。
  • 提高内容创作者效率和无障碍内容制作质量，避免遗漏关键部分。
• 研究动机与相关工作:
  • 当前工具仅能识别某些无障碍问题，比如语音静默段和错误的自动语音识别结果，导致遗漏重要的无障碍问题。
  • 需开发新技术和系统以更高效地识别无障碍问题，同时帮助作者即时编辑和预览无障碍内容。

解决方案

• 提出的方法或解决方案:
  • 开发一种新型的系统——CrossA11y，基于跨模态技术通过视觉轨道与音频轨道的不对称来自动检测无障碍问题（模态不对称性）。
  • CrossA11y包含：
    • 使用视频轨与音频轨的分析，不对称性检测。
    • 一个统一界面，作者可查看问题，即时编写AD或CC，并预览编辑结果。
• 创新之处:
  • 跨模态技术的应用，通过机器学习分析视觉与听觉内容之间的匹配程度，提高无障碍问题的检测精度。
  • 引入权重方式（基于时间的权重）以减少视觉和音频段的不相关匹配问题。
  • 提供视觉和音频困难无障碍信息的即时编辑工具，与现有工具相比提升效率。
• 实施步骤与关键技术:
  • 分段处理: 将视觉轨分割为连续画面单元，将音频轨分割为语音和非语音单元。
  • 跨模态对齐: 利用机器学习算法（如MIL-NCE和MMV模型）计算视觉与音频/文本段之间的匹配分数。
  • 后处理过滤: 删除非关键无障碍问题（如背景静音和主持人直接对镜头讲话）。
  • 统一界面设计: 提供视频时间线上的颜色标记，帮助用户快速导航和定位问题。

研究成果

• 具体成果:
  • CrossA11y系统显著提高了作者检测和解决视频无障碍问题的效率。
  • 开发的跨模态评分算法实现了高召回率（重要无障碍问题识别）与适中精准率（减少误报）。
• 与现有解决方案的比较优势:
  • 相较于仅使用“语音间隙”的传统方法，CrossA11y在检测与跨模态分析方面精度更高，可识别语音与视觉共存条件下未描述内容的无障碍问题。
  • 提供直观的用户界面，使创作者在减少认知负担的同时实现并行编辑，自动化程度较高。
• 实验或评估结果:
  • 使用样本视频（20个视频）测试系统性能，CrossA11y的视觉无障碍问题召回率达到98.4%，音频无障碍问题精度达98.3%。
  • 实验用户（12人）使用CrossA11y后，与传统工具相比减少了任务完成时间且心理负担更小。
  • 两位YouTube内容创作者在实际使用中反馈，CrossA11y能够有效节省视频无障碍处理时间并综合提高视频质量。
• 局限性与未来方向:
  • 分段算法在某些情况（如单一拍摄角度的视频）下可能无法准确区分语义单元。
  • 模态对齐算法对视频背景视觉细节或罕见视觉内容的检测效果仍需提升。
  • 未来关注于与现有视频编辑工具集成，为视频制作流程提供端到端的无障碍支持。
  • 探索更多模态之间的无障碍诊断应用，如文本与图像、动图与文章等多模态信息。

总结，CrossA11y系统通过高效的跨模态分析和直观的可视化工具为视频内容无障碍问题的识别与解决提供了重要支持，并为下一代无障碍技术提供了坚实的基础。