面向可访问视频的自动音频描述生成

文献标题

Toward Automatic Audio Description Generation for Accessible Videos

文献信息

• 主题领域: 无障碍技术、计算机视觉与自然语言处理
• 关键词: 音频描述, 视频描述, 音视频一致性, 视频字幕, 句子级嵌入, 无障碍设计

研究背景与问题

• 问题与挑战:

  1. 当前视频内容中音频描述（Audio Description, AD）覆盖率低，尤其是用户生成的视频内容中，几乎没有音频描述，这对视障用户的内容消费构成了障碍。
  2. 手动生成音频描述费时费力，不具有大规模扩展性。
  3. 自然而高质量的音频描述生成面临多重挑战：何时插入描述（When）、描述内容（What）及描述组织方式（How）均缺乏明确的定义。

• 研究意义: 音频描述不仅增强了视障用户对视频内容的理解，对于普通用户来说，也提升了视频体验，如帮助他们记忆视觉细节，支持语言学习等。

• 研究动机与相关工作:

  1. 当前研究大多集中在手动生成音频描述或基于某种形式的人工参与，而自动生成较少。
  2. 现有的音视频一致性检测、大规模视频描述生成研究虽有所进展，但仍未充分解决复杂视频内容下的音视频互补问题。

解决方案

方法或解决方案

• 提出了一个名为Tiresias的三阶段音频描述自动生成系统，包括：
  1. 插入时间预测模块：通过音视频一致性检测算法预测应添加音频描述的时间点。
  2. 音频描述生成模块：基于密集视频字幕（Dense Video Captioning）生成适合的事件描述。
  3. 音频描述优化模块：对生成的描述进行句子级优化，提升准确性和流畅性。

创新之处

• 将先进的计算机视觉（如音视频嵌入学习、特征对齐）和自然语言处理技术（如句子级嵌入、语言模型）结合，用于构建端到端自动化音频描述生成系统。
• 提出了一种基于代价函数的描述优化方法，综合考虑语义相关性、多样性及语言流畅性。

实施步骤

1. 通过提取视频关键帧并结合深度学习网络完成音频一致性预测，识别出需要描述的无声或不一致片段。
2. 使用基于双网络结构的视频字幕生成算法生成事件描述。
3. 运用句子优化模型对描述进行筛选、排序和生成，降低冗余性并提升语法准确性，最后将文本转换为语音插入原视频。

研究成果

• 具体成果:

  1. Tiresias 在500个视频数据集中的整体运行效果令人满意，其结果显著减少了视障用户对额外信息的需求。
  2. 通过质性研究，Blind/Visually Impaired (BVI) 用户反馈表明，与原始无描述视频相比，自动生成的音频描述使视频理解度显著提升。
  3. 在实验中，BVI 用户中有70%表示结果“有所帮助”，86.11%的用户认为生成描述减少了其对视频内容的困惑。

• 实验评估对比:

  1. 自动生成音频描述的时间插入点与用户需求时间点的部分或完全重叠率为65.50%，显著贴近用户期望。
  2. 不同用户组（视力正常用户、视障用户）对生成描述的冗余性和准确性的主观看法相差较大，这为改进模型提供了参考。

• 局限性与未来方向:

  1. 当前模型主要处理相对简单的活动识别任务，在深层语境理解（如因果关系、人物细节描述）方面尚有不足。
  2. 未来建议开发动态音频描述系统，允许用户灵活调整描述细节级别以满足个性化需求。
  3. 提升视频理解模块的多模态学习能力，从而生成更符合用户预期的语义丰富的描述。

输出格式

在输出报告中，建议按照用户类型及视频类型进行音频描述生成效果的量化表述；同时可加入对现有技术（如手动生成音频描述）的横向对比分析，以突出解决方案的独特性。