通过自动反馈支持新手作者创作音频描述

文献标题

Supporting Novices Author Audio Descriptions via Automatic Feedback

文献信息

• 主题领域: 人机交互、视频辅助技术、自然语言处理
• 关键词: 无障碍技术, 盲人辅助, 音频描述, 自动反馈, 场景描述, 计算机视觉, 自然语言处理

研究背景与问题

• 问题或挑战:

  • 视频音频描述（Audio Description, AD）是为了帮助盲人或视觉障碍者理解视频内容的一种重要无障碍技术。然而大多数视频缺乏音频描述——例如，在亚马逊Prime Video的视频中，仅有约0.004%的视频附带音频描述。
  • 音频描述的制作需要专业人员，成本高昂且耗时长，每分钟费用在12至75美元不等，交付周期可能长达一周。
  • 自动化生成音频描述的尝试尚不足以捕获关于人物动作和位置的信息，这些信息对视觉障碍者用户来说是关键。

• 重要性:

  • 随着视频作为信息传递的主要媒介之一，音频描述的缺乏导致视觉障碍者难以全面参与其中。
  • 降低音频描述的制作成本和时间，同时保持描述质量，有助于更广泛地应用无障碍技术并影响社会包容性。

• 研究动机与相关工作:

  • 之前的研究探讨了如何通过自动化和半自动化方法减少生成音频描述的成本，但这些方法尚未完全解决描述质量低的问题。
  • 基于协作工具的场景描述（Scene Description, SD）写作，已被证明可以提高初学者的描述质量，通过集成自动反馈机制可以进一步提高效率。

解决方案

• 方法或解决方案:

  • 开发了一种集成人工场景描述和实时自动化反馈功能的音频描述创作工具。工具利用计算机视觉和自然语言处理技术，生成反馈建议，帮助用户完善场景描述。
  • 实时反馈通过交互式词云的形式呈现，描述者根据词云中代表性标签选择需要添加到场景描述中的元素。该工具的目标是优化描述内容和流程，使其既高效又保持质量。

• 创新之处:

  • 提出了结合计算机视觉（使用Amazon Rekognition工具）和自然语言处理的新型自动反馈机制。
  • 用词云形式直观地提示初学者潜在遗漏的重要视觉元素。
  • 通过优化标签选择算法，减少冗余和无关的标注。

• 实施步骤与关键技术:

  1. 使用Amazon Rekognition进行场景理解，生成初步标签。
  2. 通过文本匹配和聚类算法（例如DBSCAN）优化标签，生成代表性标签。
  3. 在用户撰写场景描述时，对标签与文本进行实时语义匹配，供用户参考。
  4. 设计用户界面让用户可视化场景描述生成过程，并进行实时修改。

研究成果

• 具体成果:

  • 完成了一个支持场景描述创建和实时自动反馈功能的系统设计，并进行了60名参与者的对照试验。
  • 自动反馈工具提高了场景描述的描述性、客观性和学习质量。
  • 在减少费用方面，自动反馈系统将生产成本降低了45%。

• 与现有解决方案相比的优势:

  • 自动反馈显著减少人工反馈评估的时间，展示了替代完全人工流程的潜力。
  • 对无反馈场景相比，自动反馈提高了描述质量，同时抓住了客观性这一关键维度。

• 实验结果和评估:

  • 实验显示人类反馈比自动反馈在丰富性与启发性方面表现更为优秀，但自动反馈在节约生产时间上占据明显优势。
  • 实践中观察到自动反馈的描述较简洁，语法和词汇也更一致。

• 局限性与未来方向:

  • 自动反馈机制受限于当前的计算机视觉技术（如Amazon Rekognition）的输出质量。在某些场景中因描述信息不足或标签质量较低受到限制。
  • 可进一步探索混合反馈方式（结合人工与自动反馈），以及基于用户定制化的真实时间动态优化系统。
  • 对视频类型分类的先验机制有助于根据任务复杂程度选择适合的反馈机制。